标签：表示 输出 Neural 家族 推断 Hinton 矩形 Networks 输入

例子简单讲就是给定n个三元组（A，R，B）作为训练集，然后给定A和R，神经网络输出B。这里涉及到学习A,R,B的特征表示，不仅要有意义，而且还有三者之间进行配合。

例子简介：亲戚关系推断
这节主要介绍一个使用神经网络做逻辑推理的例子：亲戚关系推断。

非常常见的家族图谱，就不赘述了。注意两个地方：等于号表示两者结婚了；上下两个图谱，表示两个家庭。
家庭图谱可以用作逻辑推断（例如妈妈的妈妈叫姥姥。。。），例子如下：

学习亲戚关系推断
将家庭图谱表示为上诉逻辑推断的形式之后，可以把输入看做三元组（例如（x, has-mother, y））。直觉传统的做逻辑推断的方法是使用符号规则，例如指定规则：

这样的缺点是需要人工设定，穷尽可能。
希望可以使用神经网络学习到如何做逻辑推断，设计网络结构如下：

输入三元组的前两个元素，输出第三个元素，可以用于质询，例如：问colin的father是，输出james。
对于元素的输入，使用one-hot方式表示，优势是不引入先验（如果使用二进制密集表示，那么会存在某两个点在空间上比其他点近），易于分析。
元素输入之后分别使用一个编码器对其进行编码，这个编码过程可以加入一些限制，传统的方式是使得维度减少，强制性使得信息压缩，保留有用信息。
元素输出同样是one-hot格式的，输出每个类别的可能性，通常是softmax。同样的，输出之前使用解码器解码，即对所有元素融合过程中是以编解码后的隐层表示进行交互。
中间层学习预测逻辑推理的功能，同时也兼具协调两个编码器和一个解码器的功能，使得三者的隐层表示互相之间是有意义的。

对学习到的编码器进行分析

上图展示了将输入24维编码到6维隐层表示的编码器权重，图中存在6个灰色的大框，分别表示六个隐层神经元，每个神经元内上下两行分别表示两个家族，每个黑白矩形表示对应家族成员到相应神经元的输入权重，白色为正数，黑色为负数。因为两个家族结构一样，所以只使用一个家族的名称表示，另一个家族的名称省略。
首先观察右上方神经元，清晰可见的一行白矩形，一行黑矩形，可见这个矩形用于区分两个家族。同一个家族的输入，只会对应于同一个家族的输出，学习到家族分类是很有必要的。
继续观察其下方的神经元，可以看到其随辈分的增加，值在变大。（Andrew对应于白色大矩形，而colin是黑色大矩形，james的绝对值相对较小）

验证性能
这部分就是很toy的了，留下四个测试，其他的训练，查看结果：

[原文链接]：https://blog.csdn.net/silent56_th/article/details/77747426

标签：表示,输出,Neural,家族,推断,Hinton,矩形,Networks,输入
来源： https://www.cnblogs.com/liuxp775/p/12504888.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。