标签：本文 via Weight Interactions 特征 模型 Attention AFM 交互

动机

本文是2017年IJCAI上的一篇论文。FM方法通过结合二阶特征交互来增强线性回归模型，它将这些特征交互一视同仁，给予它们一个相同的权重，但是并不是所有特征的交互都是有意义的，更具体的，不同的特征交互之间有不同的重要性。而FM模型忽略了这一点，这可能会带来一些噪声，本文作者提出了AFM模型，通过注意力机制学习到不同特征交互的重要性从而解决上述问题。

方法

AFM结构如下图。

从左往右，首先是Sparse Input层，这一层是特征的输入，输入是稀疏的。
之后通过一个embedding层，获取用户(物品)的特征表示。
接着是Pair-wise Interaction层，这一层计算的是特征之间的交互，具体计算方法为

然后是Attention-based Pooling，这一层通过一个MLP计算出特征交互的注意力分数，之后再将交互加权求和。


最终的预测为

本文中的任务是预测用户评分，是一个回归任务，使用mse loss。其他任务可根据具体情况使用不同的损失函数。

实验结果

作者在两个数据集上做了相关实验，本文提出的AFM取得最好效果。

总结

本文主要贡献就在于Attention-based Pooling这一层，通过注意力网络计算出不同特征交互的重要性，提高模型表达能力，同时也提高了模型的可解释性，可以通过注意力分数就看出哪些特征交互重要性更高，具有一定的指导性意义。

标签：本文,via,Weight,Interactions,特征,模型,Attention,AFM,交互
来源： https://www.cnblogs.com/ambition-hhn/p/16613567.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。