标签：总结 NLP Neural Attention ELMo 论文 参考 阅读者

词向量

参考论文: Efficient Estimation of Word Representations in Vector Space 

CBOW (Continuous Bag-of-Word): 挑一个要预测的词，来学习这个词前后文中词语和预测词的关系。

Skip-Gram: 使用文中的某个词，然后预测这个词周边的词。相比 CBOW 最大的不同，就是剔除掉了中间的那个 SUM 求和的过程，将词向量求和的这个过程不太符合直观的逻辑，而Skip-Gram没有这个过程。

句向量

 Seq2Seq Learning 参考论文: Sequence to Sequence Learning with Neural Networks

将一个 sequence 转换成另一个 sequence。也就是用Encoder压缩并提炼第一个sequence的信息，然后用Decoder将这个信息转换成另一种语言或其他的表达形式。

 CNN for NLP 参考论文：Convolutional Neural Networks for Sentence Classification

注意力

CNN Attention Neural Image Caption Generation 参考论文: Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Seq2Seq Attention Mechanism 参考论文：Effective Approaches to Attention-based Neural Machine Translation

　　　　　　　　　　　　　　　　　　　NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

Transformer 参考论文：Attention Is All You Need

预训练模型

ELMo 参考论文：Deep contextualized word representations

找出词语放在句子中的意思。ELMo还是想用一个向量来表达词语，不过这个词语的向量会包含上下文的信息。

ELMo的训练：前向LSTM预测后文的信息，后向LSTM预测前文的信息。训练一个顺序阅读者+一个逆序阅读者，在下游任务的时候， 分别让顺序阅读者和逆序阅读者，提供他们从不同角度看到的信息。

GPT 参考论文：Improving Language Understanding by Generative Pre-Training

　　　　　　　Language Models are Unsupervised Multitask Learners

　　　　　　　Language Models are Few-Shot Learners

用非监督的人类语言数据，训练一个预训练模型，然后拿着这个模型进行finetune， 基本上就可以让你在其他任务上也表现出色。

BERT 参考论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT 和 GPT 还有 ELMo 是一个性质的东西。 它存在的意义是要变成一种预训练模型，提供 NLP 中对句子的理解。ELMo 用了双向 LSTM 作为句子信息的提取器，同时还能表达词语在句子中的不同含义；GPT 呢， 它是一种单向的语言模型，同样也可以用 attention 的方式提取到更加丰富的语言意思信息。

标签：总结,NLP,Neural,Attention,ELMo,论文,参考,阅读者
来源： https://www.cnblogs.com/AICROC/p/16057409.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。