深度学习推荐模型演化方向：
1）增加神经网络复杂程度：从最简单的单层神经网络模型 AutoRec，到经典的深度神经网络结构 Deep Crossing，主要的进化方式在于增加了深度神经网络的层数和结构复杂度。
2）丰富特征交叉方式：例如改变了用户向量和物品向量互操作方式的 NeuralCF，定义了多种特生向量交叉操作的 PNN 模型。
3）组合模型：主要是指 Wide&Deep 模型及其后续变种等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。
4）FM 模型的深度学习演化版本：FM 在深度学习时代有了诸多后续版本，其中包括 NFM、FNN、AFM 等。
5）注意力机制与推荐模型的结合：将注意力机制应用与深度学习推荐模型中，主要包括结合 FM 与注意力机制的 AFM、引入注意力机制的 CTR 预估模型 DIN。
6）序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为和用户兴趣的演化趋势，代表模型是 DIEN。
7）强化学习与推荐模型的结合： 模型的在线学习和实时更新，代表模型是 DRN。
AutoRec
将自编码器与协同过滤结合，提出的一种单隐层神经网络推荐模型，首先利用共现矩阵完成物体向量或用户向量的自编码，根据自编码结果得到用户对物品的预估评分，进而推荐排序。
m
m
m 个用户对
n
n
n 个物品的评分组成
m
×
n
m×n
m×n 的共现矩阵。对物品
i
i
i，用户评分向量
r
(
i
)
r^{(i)}
r(i)，是自编码器的重构目标。重建函数为
h
(
r
;
θ
)
=
f
(
W
⋅
g
(
V
r
+
μ
)
+
b
)
h(r;\theta)=f(W\cdot g(Vr+\mu)+b)
h(r;θ)=f(W⋅g(Vr+μ)+b)，
f
f
f 和
g
g
g 为激活函数。则目标函数为：
min
θ
∑
i
=
1
n
∥
r
(
i
)
−
h
(
r
(
i
)
;
θ
)
∥
2
+
λ
2
⋅
(
∣
∣
W
∣
∣
F
2
+
∣
∣
V
∣
∣
F
2
)
\min_{\theta}\sum_{i=1}^{n}\left \| r^{(i)}-h(r_{(i)};\theta) \right \|^{2}+\frac{\lambda}{2}\cdot(||W||^{2}_{F}+||V||^{2}_{F})
θmini=1∑n∥∥∥r(i)−h(r(i);θ)∥∥∥2+2λ⋅(∣∣W∣∣F2+∣∣V∣∣F2)
优缺点：有一定的泛化和表达能力；结构较为简单表达能力不足。
Deep Crossing
应用于搜索广告场景，使用了三类特征：类别型特征（编码成 one-hot、multi-hot）、数值型特征（直接拼接进向量）、其它需要进一步处理的特征。
Embedding 层以 FC 结构为主（也可用 Word2word 等），将稀疏的类别特征转为稠密的 Embedding 特征；Stacking 层把 Embedding 特征与数值特征拼接；Multiple Residual Units 用残差单元将不同特征交叉组合；Scoring 层为输出层使用逻辑回归模型。
优点：模型具有深度交叉能力。
NeuralCF
用多层输出网络+输出层的模式代替了矩阵分解模型中的内积操作，引入非线性特征并充分交叉。
NeuralCF 混合模型整合了上述模型和基于内积的矩阵分解模型。
优缺点：灵活地组合特征使用神经网络拟合函数，利用不同的互操作层进行特征的交叉组合和拼接；没有引入其他类型的特征。
PNN 模型
标签：特征,推荐,用户,学习,神经网络,深度,模型,向量 来源： https://blog.csdn.net/catfishH/article/details/120389776
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。