标签：DIN 函数 模型 pooling embedding 激活 我们

我们先看base模型

在DIN出现之前，推荐系统或者广告系统的做法通常是将高维的稀疏输入通过一个embedding层转化为低维稠密的特征表示，之后将同类的embedding特征通过pooling的方式（sum pooling或者avg pooling）转化为固定长度的特征（embedding+pooling这两步在笔者看来其实等价于一个单层神经网络的作用，embedding特征对应权重矩阵），最后将不同类特征拼接起来输入到深度神经网络中进行训练。（如下图所示）

这是base模型，我们可以发现这里的用户习惯都被考虑到了模型中

但我们举一个例子：

我们这里的目标广告是一双球鞋，然后用户的习惯里面既有足球也有化妆品，那么显然化妆品对球鞋的广告来说就没有多大的参考意义，而足球则非常具有意义。

那么我们怎么来判断到底什么样的商品对我们的目标广告才是有意义的呢。我们自然而然的就容易联想到注意力机制。

下面就是阿里巴巴提出的din模型，它将注意力机制运用到了推荐模型领域。

我们可以发现在进入SUMPooling前之前会先经过一个attention运算来计算目标广告与用户习惯的关联度。但这里和普通注意力机制的区别就是这里这里得出来的注意的得分不用通过softmax进行归一化，论文原文中表示的是这样做是为了保留用户对某个物品的感兴趣程度。

下面是论文中给的数据的结构：

另外我们这里提一下din模型中的提出的一个自适应函数Dice

收集自适应激活函数需要根据数据的分布来自行移动激活函数

我们来看下这个激活函数

这个f(s)是它的表达式,我们发现通过控制s就能控制激活函数的位置，α可以控制左边函数的倾斜程度

dice激活函数的公式如下

标签：DIN,函数,模型,pooling,embedding,激活,我们
来源： https://blog.csdn.net/qq_42586738/article/details/123078338

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。