标签：梯度 用户 更新 MeLU Start Estimator embedding 物品 theta

动机

本文是2019年KDD上的一篇论文。现有的推荐系统探索新用户偏好时，通常是向用户提供一系列物品作为候选池，然后根据用户在候选池中选择交互的物品提出推荐建议。这样的方法有一些局限性：1.对只有少量交互物品的用户提供的推荐较差。2.候选池中的物品可能并不能真正体现出用户的偏好。作者提出了一种基于元学习的推荐系统MeLU去克服以上两个局限性，并提出了一种选择候选池的策略。

算法

本文提出的方法基于MAML,MAML可参考知乎上的这个介绍MAML模型介绍及算法详解。

用户偏好估计器

下图是用户偏好估计器的结构图。

首先我们将用户与物品的属性转换为one-hot向量作为输入，经过embedding层后，可以得到用户和物品每个属性的embedding向量。


其中c表示one-hot向量，e表示属性的embedding矩阵。之后将这些属性的embedding向量拼接起来，如果是连续值的属性，直接拼接就好，不需要经过embedding层。
之后，通过一个多层感知机预测用户对物品的评分或是反馈。

这里W，b分别是可训练的权重和偏置。a和\(\sigma\)是激活函数。

基于元学习的用户偏好估计器

这里的用户偏好估计器和上述一样。
元学习需要将用户的数据划分为支持集和查询集，其中支持集用于本地更新，查询集用于全局更新。算法流程如下。

第1-2行，初始化参数，其中\(\theta_1\)是用户与物品的embedding，\(\theta_2\)是多层感知机的参数。
第4行，随机采样一批用户。
第6-8行，本地更新，针对采样的每个用户，首先将\(\theta_2\)复制一份到本地，为\(\theta_2^i\)。根据以下损失函数计算\(\theta_2^i\)的梯度

然后使用梯度下降更新\(\theta_2^i\)。
这里没有本地更新\(\theta_1^i\)是为了保证模型稳定性。
第10行，全局更新\(\theta_1\)和\(\theta_2\)，这里是用批量梯度下降的方法。对于\(\theta_2\)的更新，还需要注意一点，这里梯度下降使用到的梯度是第8行中\(\theta_2^i\)的梯度，但是更新的是\(\theta_2\)，这是元学习和普通机器学习不同的地方。

候选池的选择

使用本地更新的梯度的F-范数和物品流行度两个指标作为参考(两个值都是越大越好)，选出物品作为候选池。

实验结果

作者在两个数据集上，四种情况下做了实验，四种情况分别是:1.为用户推荐物品。2.为新用户推荐物品。3.为用户推荐新物品。4.为新用户推荐新物品。本文提出的MeLU在冷启动场景(2-4)中取得了最好的效果。

MeLU-l代表本地更新了l次。

总结

本文是针对冷启动问题的一篇论文，作者设计了一个基于元学习的用户偏好预测器，使得在常见的用户冷启动、物品冷启动及用户物品冷启动的情况下，都可以做到一个较好的预测。之后可以向着元学习协同过滤方向研究。

标签：梯度,用户,更新,MeLU,Start,Estimator,embedding,物品,theta
来源： https://www.cnblogs.com/ambition-hhn/p/16292866.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。