标签：编码器 模型 Attention Seq2Seq 机器翻译 解码器 机制 注意力

注意力机制（一）

       近几年随着计算力和数据量的飞速飙升，深度学习有了自己的用武之地。最近几年，各种顶会的期刊呈指数形式不断飞升，各种网络和方法的创新也层出不穷。除此之外，一些很多年前提出的方法有的也在最新的应用中取得很好的效果。Attention模型在九几年就被提出了，开始被应用在机器视觉等方面，后来被在机器翻译等NLP方向证明用很高的应用价值。最近因为课题需要，学习了Attention模型，并将自己学到的粗浅认识记录于此。主要分为两部分：一是Attention模型在Seq2Seq问题中与RNN（LSTM、GRU）结合的模型；二是Google提出的Transform模型，本文首先介绍第一部分，并使用Pytorch框架实现基本模型。

一、 Seq2Seq模型

       在一些任务中，模型的输入与输出可能是不定的，例如在机器翻译任务中翻译和被翻译的语言一般都是不定长的序列。在这些情况下我们可以使用编码器—解码器（encoder-decoder）或者seq2seq模型。这两个模型本质上都用到了两个循环神经网络，分别叫做编码器和解码器。编码器用来将语句编码成背景向量，而解码器将背景向量编码并输出序列。模型的具体结构如下图所示。

标签：编码器,模型,Attention,Seq2Seq,机器翻译,解码器,机制,注意力
来源： https://www.cnblogs.com/ffjsls/p/11027051.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。