标签：2022 PRML Prediction 记忆 https LSTM zhihu com 单元

关于RNN（循环神经网络）（简略了解）：

 https://zhuanlan.zhihu.com/p/105383343

关于LSTM（长短期记忆网络）以及GRU：

Q1：LSTM如何实现长短期记忆？（《百面深度学习》p54）

　　一般的RNN（循环神经网络）中，一般是参数共享的【1】，存在对于短期的数据敏感，但是对于长期数据不敏感的问题。LSTM能解决这个问题。首先，它增加了一个cell state单元（就是图里面的c参数，h参数是隐藏状态单元），在不同的时间有可变的权重，解决梯度消失，梯度爆炸的问题。（因为 在（U, W, b）这几个参数不变的情况下，梯度在反向传播过程中，不断连乘，数值不是越来越大就是越来越小）（对有价值的信息进行记忆，放弃冗余记忆，从而减小学习难度。） 它在内部引入了GRU门控单元（输入门，遗忘门，输出门）与内部记忆单元。具体计算见注释【2】。总而言之，LSTM通过门控单元h以及状态单元c的线性自循环，改变以往的信息传播方式，解决了RNN的长期依赖问题（随着输入序列增加，以往的信息无法被学习和利用的问题）

【1】：关于RNN的网络结构与参数共享：https://www.cnblogs.com/wisteria68/p/13488819.html

【2】：关于LSTM：https://zhuanlan.zhihu.com/p/106046810         https://blog.csdn.net/qian99/article/details/88628383

【3】：LSTM实现股票预测：https://zhuanlan.zhihu.com/p/108319473

Q2：GRU（门控循环单元）如何控制时间序列的记忆与遗忘行为？（《百面深度学习》p57）

　　使用了更新门代替遗忘门和记忆门的功能。遗忘多少就会记忆多少作为弥补。

【1】：关于GRU：https://zhuanlan.zhihu.com/p/106276295

（未完待续）

标签：2022,PRML,Prediction,记忆,https,LSTM,zhihu,com,单元
来源： https://www.cnblogs.com/MrMKG/p/16607615.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。