标签：02 based 函数 05 模型 损失 LSTM RNN

1.案例引出

RNN-based network 总是不容易学习。

下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图，绿色是实际试验中可能出现的损失值。

损失函数存在突变的现象：

下图中可见Loss 函数的变化情况，左侧的损失函数较大，右侧的损失函数较小，存在剧烈变化的现象。

解决方案：

LSTM可以处理梯度消失。原理分析如下图所示。

2.LSTM的应用

(1)情感分析---Many to one 多对1

输入一个向量序列，输出是一个向量。

(2)关键术语抽取 Key  Term  extraction 

(3)Semantic tagging 语义标注

利用模型融合

3.Attention-based Model 注意力模型

标签：02,based,函数,05,模型,损失,LSTM,RNN
来源： https://www.cnblogs.com/luckyplj/p/13126402.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。