paper: Don't stop Pretraining: Adapt Language Models to Domains and Tasks GitHub： https://github.com/allenai/dont-stop-pretraining 论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task
（五十八）：COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining Abstract 1. Introduction 2. Related Work 3. Method 3.1. Preliminary 3.2. Pretraining by Correcting and Contrasting 3.2.1. CORRECTIVE LANGUAGE MODELING 3.2.2. S
目录 前言 一、ERNIE结构分析 二、预训练的结构 1.基于字的Pretraining 2.基于结构的Pretraining 3.基于知识的Pretraining 三、预训练的流程 1.Pipeline 2.实例 3.综述 四、总结 1.数据处理 2.模型参数 前言 预训练模型，百度的ERNIE第三代。相比T5 10billion, GPT 175billion
0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：https://arxiv.org/abs/1907.11692 论文代码：https://github.com/pytorch/fairseq 1. 介绍 RoBERTa 模型是BERT 的改进版(从其名字来看，A Robustly Optimized BERT，即简单粗暴称为强力
