标签：NLP RNN 输出 学习 神经网络 记忆 LSTM 数据 神经元
链接：https://mp.weixin.qq.com/s/uS-KLIQ23DXHctJalzcuSA
1、在这篇文章中，我们将学习人工神经网络，深度学习，递归神经网络和长短期记忆网络。
感知器Perception
1、一个神经元就是将输入***加权求和***
2、
当以这种方式构建网络时，不属于输入层或输出层的神经元叫做隐藏层，正如它们的名称所描述：隐藏层是一个黑盒模型，这也正是ANN的主要特征之一。通常我们对其中的数学原理以及黑盒中发生的事情有一些认知，但是如果仅通过隐藏层的输出试图理解它，我们大脑可能不够用。
什么是深度学习？
1、计算力的增加，以及用于训练模型的可用数据量的大量增加，使我们能够创建更大、更深的神经网络，这些深度神经网络的性能优于较小的神经网络。
2、
传统的机器学习算法（线性或逻辑回归，SMV，随机森林等）的性能会随着训练数据集的增大而增加，但是当数据集增大到某一点之后，算法的性能会停止上升。数据集大小超过这一值之后，即便为模型提供了更多的数据，传统模型却不知道如何去处理这些附加的数据，从而性能得不到进一步的提高。
这个图和观点可以应用到论文中去！
神经网络如何进行深度学习的呢？
当这个过程在进行中出现错误时，它会调整神经元之间连接的权重，以减少所犯错误的数量。正因如此，如前所示，在大多数情况下，如果我们为网络提供更多的数据，将会提高它的性能。
从序列数据中学习 –递归神经网络
1、递归神经网络是一种特殊的神经网络，旨在有效地处理序列数据，序列数据包括时间序列（在一定时间段内的参数值列表）、文本文档（可以视为单词序列）或音频（可视为声音频率序列）。
2、RNN获取每个神经元的输出，并将其作为输入反馈给它，它不仅在每个时间步长中接收新的信息，并且还向这些新信息中添加先前输出的加权值，从而，这些神经元具备了先前输入的一种“记忆”，并以某种方式将量化输出反馈给神经元。
3、记忆单元：来自先前时间步长的输入的函数单元
4、问题：随着时间的流逝，RNN获得越来越多的新数据，他们开始“遗忘”有关数据，通过激活函数的转化及与权重相乘，稀释新的数据。这意味着RNN有一个很好的短期记忆，但在尝试记住前一段时间发生过的事情时，仍然会存在一些小问题（过去若干时间步长内的数据）。
增强记忆力 - 长期短期记忆网络
1、
LSTM神经元通过三个不同的门的状态组合来实现这一点：输入门，遗忘门和输出门。在每个时间步长中，记忆单元可以决定如何处理状态向量：从中读取，写入或删除它，这要归功于明确的选通机制。利用输入门（左），记忆单元可以决定是否更新单元状态；利用遗忘门(中)，记忆单元可以删除其记忆；通过输出门（右），单元细胞可以决定输出信息是否可用。
2、LSTM还可以减轻梯度消失的问题
其他资源（有时间看！没有的话就用明天公众号时间看）
神经网络如何端到端地工作
https://end-to-end-machine-learning.teachable.com/courses/how-deep-neural-networks-work/lectures/9533963
YouTube视频系列，讲解如何训练神经网络的主要概念
https://www.youtube.com/watch?v=sZAlS3_dnk0
深度学习和人工神经网络
https://machinelearningmastery.com/what-is-deep-learning/
本篇主要收获
1、看到了一张Andrew Ng用过的证明深度学习、机器学习随着数据量的增加学习效果不同的图片，可以引用到论文中去。
2、本文中的神经网络的图太炫酷了叭！没有用一个圆圈，而是用了一个像眼睛一样到的东西。
3、本文对于LSTM的三言两语对理解很有帮助。三个门：遗忘门：可以删除记忆；输出门：决定输出信息是否可用；输入门：决定是否更新单元状态；优点：解决RNN短期记忆问题；解决梯度消失问题。【但具体内容还未掌握】
标签：NLP,RNN,输出,学习,神经网络,记忆,LSTM,数据,神经元 来源： https://blog.csdn.net/weixin_45252975/article/details/122647197
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。