RNN，LSTM，GRU学习笔记

2021-10-10 18:33:05 阅读：147 来源： 互联网

一、RNN

1.循环神经网络概述

循环神经网络（Recurrent Neural Network，RNN），简称RNN。它与DNN和CNN的不同是：可处理序列问题（如一段文字，一段语音等）。如给定一个索引从0-T的序列，对于任意的索引号t，它对应的输入是 $x^{t}$ ,则模型在t时刻的隐藏状态 $h^{t}$ 由 $x^{t}$ 和t-1时刻的隐藏状态 $h^{t-1}$ 共同决定。而t时刻的输出 $o^{t}$ 则是由 $h^{t}$ 通过非线性变换得到。

也就是说，当我们在理解一句话时，不光要理解句子中的字，更要理解字前面或者后面的句子序列信息，以达到理解整个句子序列的目标。

理论上来说，RNN可以理解关联往前或往后的任意多个字序列。

2.循环神经网络模型

我想以一张图的方式简明扼要的阐述RNN模型。

其中：

x(t)：代表在序列索引号 t 时训练样本的输入。

h(t)：代表在序列索引号 t 时模型的隐藏状态。

o(t)：代表在序列索引号 t 时模型的输出。

L(t)：代表在序列索引号 t 时模型的损失函数，模型整体的损失函数是所有的L(t)相加和。

y(t)：代表在序列索引号 t 时训练样本序列的真实输出。

U、V、W这三个矩阵是模型的参数。他们在整个网络中是共享的。——共享权重

3.循环神经网络前向传播算法

4.循环神经网络反向传播算法

注：循环神经网络和recursive neural network(递归神经网络)的区别。

二、LSTM

长短期记忆网络（Long Short-Term Memory，LSTM）

三、GRU

标签：GRU,RNN,模型,索引,神经网络,循环,序列,LSTM
来源： https://blog.csdn.net/weixin_43888760/article/details/120688947

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

RNN，LSTM，GRU学习笔记

一、RNN

二、LSTM

三、GRU