标签：NLP Transformer Text 模型 T5 文本

5分钟NLP：Text-To-Text Transfer Transformer (T5)统一的文本到文本任务模型

本文将解释如下术语：T5，C4，Unified Text-to-Text Tasks

迁移学习在NLP中的有效性来自对具有自监督任务的丰富无标记的文本数据进行预训练的模型，例如语言建模或填写缺失的单词。通过预先训练后，可以在较小的标记数据集上微调模型，通常比单独使用标记的数据训练更好的性能。迁移学习被诸如GPT，Bert，XLNet，Roberta，Albert和Reformer等模型所证明。

Text-To-Text Transfer Transformer (T5)

该论文“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”（2019年出版）提出了一项大规模的经验调查，展示了哪种迁移学习技术最有效，并应用这些见解创建新的被称为Text-To-Text Transfer Transformer (T5)模型。

迁移学习的重要部分是用于预训练的未标记数据集，这不仅应该是高质量和多样化的，而且还应该是大量。以前的预训练数据集并不符合所有这三个标准，因为：

• Wikipedia的文字高质量，但风格均匀，适合我们的目的相对较小
• 来自Common Crawl Web抓取的文字是巨大的，高度多样，但质量相对较低。

所以论文中开发了一个新的数据集：Colossal Clean Crawled Corpus (C4)，这是一个Common Crawl 的“清洁”版本，比维基百科大两个数量级。

在C4上预先训练的T5模型可在许多NLP基准上获得最先进的结果，同时足够灵活，可以对几个下游任务进行微调。

对文本到文本格式进行统一

使用T5，所有NLP任务都可以被转换为统一的文本到文本格式，任务的输入和输出始终是文本字符串。

该框架提供了一致的训练目标，用于预训练和微调。无论任务如何，该模型都具有最大似然目标。如果要指定模型应该哪一类的任务，需要在将其送到模型之前将任务的目标标识.作为特定的文本前缀添加到原始输入序列中。

这个框架允许在任何NLP任务上使用相同的模型、损失函数和超参数，例如机器翻译、文档摘要、问答和分类任务。

完整文章：

https://www.overfit.cn/post/a0e9aaeaabf04087a278aea6f06d14d6

标签：NLP,Transformer,Text,模型,T5,文本
来源： https://www.cnblogs.com/deephub/p/16181533.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。