标签：聚合 邻居 神经网络 m6 embedding 节点 向量

1、gcn

图卷积神经网络是指在图结构中做卷积操作的神经网络，所以其输入输出的都是图结构，它解决的是对图中的节点进行分类的问题，其中仅有一小部分节点有标签（半监督学习）。

假定每个节点有个V维向量，邻接矩阵是A，全图的节点特征X是N*C大小，即有N个节点则N行，仅有一层GCN，对于节点x1

1️⃣先进行图卷积（聚合周围邻居）

比如对所有的邻居向量和自己求平均：

即 度矩阵D̃的逆矩阵 * Ã * X，Ã = A + I，若不同节点的重要程度不同，可以加个可以训练的 lambda 参数：

为了能够加权平均，将低度数节点的权重提高，高度数的降低，同时由于归一化了两次，所以将"-1 "改为"-1/2"，因此：

 

 2️⃣然后通过神经网络，最后接一个softmax，即：

这个神经网络对所有节点都是共享的，若是多层GCN，则中间的GCN层输出是个向量。层数越大，则节点能够聚合到更多的节点信息，若为6-7层，任何网络的节点都能看到整个图的信息了，一般用2层或3层的模型可以得到最好的结果

 

【从数学角度理解图卷积】

 

 解释：

借助傅里叶变换的思想，在时域问题上不好解决的话，映射到频域做处理，处理好了再映射回时域，这种思想类类似于FFT，对多项式乘积问题，不直接相乘，而是先做点值表示，乘完后，再求出系数。在这里，从右往左看：先把图上节点通过傅里叶变换（左乘U'）映射到频域，再经过 g 处理，再逆变换返回空间域（左乘U），其中 U 来自于对 F(A) =  Lsym - L 做的特征分解

 

g 采用切比雪夫多项式的线性组合，切要求特征值在[-1，1]之间，因为谱图理论，拉普拉斯矩阵的对称规范化 Lsym的特征值在[0,2]之间，且是半正定的实对称阵，具备优良的性质，这里F(A)是满足的，切的定义：

 后面为了简化运算，令k=1，把 I 移到了 A 里面和A相加

 2、GraphSAGE

提出原因：GCN 训练时需要用到整个图的邻接矩阵，依赖于具体的图结构，一般只能用在 Transductive Learning。Transductive 通常指要预测的节点在训练时已经出现过，Inductive 指要预测的节点在训练时没有出现。而GraphSAGE 采用了节点的邻域信息，不依赖于全局的图结构。

假定节点 A、B、C 处于目标集合中，想要他们最后的embedding，然后这三个样本要输入到神经网络中进行分类训练，那如何得到它们的embedding？

分为两大步：先采样、后聚合

1️⃣采样：先得到3个点的邻居，记为1，这个邻居不必是挨着的全部邻居，记为第1跳

然后对这些邻居1，得到挨着邻居1的邻居2，记为第2跳

以此类推，为方便假定只有2跳

2️⃣聚合：从最后一跳往前走，利用聚合函数+映射 从第二跳的 embedding 得到第一跳的 embedding，再由第一跳的embedding得到目标3个点的embedding

以方框中的为例，聚合函数+映射的操作如下：

先将1的邻居（2个2）通过聚合函数聚合为1个向量，然后和1向量拼接，拼接结果乘以矩阵W并加上激活函数（即，拼接结果通过一层神经网络），在除以自己模长的平方做归一化，该结果向量作为1的向量

聚合函数有多种：

a.平均聚合：邻居embedding取平均

b. 归纳式聚合：对目标节点和邻居emebdding取平均

c. LSTM聚合：LSTM函数不符合“排序不变量”的性质，需要先对邻居随机排序，然后将随机的邻居序列embedding  作为LSTM输入，最后的输出就是聚合结果。

 

3、GAT

https://blog.csdn.net/qq_41995574/article/details/99931294

标签：聚合,邻居,神经网络,m6,embedding,节点,向量
来源： https://www.cnblogs.com/pjishu/p/16265025.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。