标签：历史 发展 RNN DNN MLP 神经网络 CNN 隐藏

 1、三代神经网络的发展

第一代神经网络：感知器（1950s）

第一代神经网络又称为感知机，在1950年左右被提出来，算法分为输入层和输出层，输入和输出之间为线性关系，感知机无法处理非线性模型，即不能解决线性不可分的问题。

第二代神经网络：多层感知器MLP（1980s）

第二代神经网络为多层感知机（MLP），在1980年左右Rumelhart、Williams等人提出，和第一代相比，在中间加了多个隐藏层，隐藏层可以引入非线性结构，能够解决第一代神经网络面临的线性不可分问题，从而能够处理非线性问题。

第三代神经网络：深度神经网络（2010s）

MLP能够解决线性不可分问题，但是隐藏层的引入也使得MLP变得复杂，由于梯度消失的问题，MLP难以训练，直到2006年Hinton采取无监督预训练（Pre-Training）的方法解决了梯度消失的问题，使得深度神经网络变得可训练，自此逐步开启了第三代神经网络。

第三代神经网络主要包括DNN、RNN、CNN等。

2、DNN：深度神经网络

DNN和传统意义上的神经网络（NN）在结构上并无大的差别，主要是层数增加了，并且解决了不可训练的问题。

DNN最大的问题是只能看到预先设定的长度的数据，对于语音和语言等前后相关的时序信号的表达能力还是有限的，基于此提出了RNN模型，即递归神经网络。

3、RNN：递归神经网络

DNN存在的问题是：无法对时间序列上的变化进行建模。因为DNN的隐藏层只能接收当前时刻上一层的输入。

在RNN中。神经元的输出可以在下一时刻作用到本身，也就是说，RNN的隐藏层不仅可以接收到来自当前时刻上一层的输入，还可以接收上一时刻当前隐藏层的输入。

RNN的这种变化使得神经网络具有了历史记忆功能，原则上可以看到无穷长的历史信息，可以用来处理时间序列问题，例如连续的语音、连续的手写文字等。

 4、CNN：卷积神经网络

卷积神经网络是为了模拟人的视觉神经系统提出来的，广泛应用于图像识别等领域。

以CNN做人脸识别任务为例，先得到一些像素信息，再往上层得到一些边界信息，然后再往上提取就是一些人脸的部件信息，包括眼睛、耳朵、眉毛、嘴巴等，最后是人脸识别，这整个过程和人的视觉神经系统是非常相似的。

CNN网络结构包括输入层、隐藏层、输出层等，隐藏层由卷积层、池化层、全连接层等组成。

 参考

https://www.cnblogs.com/pinard/p/6418668.html

https://zhuanlan.zhihu.com/p/51241366

https://zhuanlan.zhihu.com/p/55838329

标签：历史,发展,RNN,DNN,MLP,神经网络,CNN,隐藏
来源： https://www.cnblogs.com/init0ne/p/16627688.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。