通常，我们使用bert做文本分类，泛化性好、表现优秀。在进行文本相似性计算任务时，往往是对语料训练词向量，再聚合文本向量embedding数据，计算相似度；但是，word2vec是静态词向量，表征能力有限，此时，可以用已进行特定环境下训练的bert模型，抽取出cls向量作为整个句子的表征向量以供下游
Adversarial and Domain-Aware BERT for Cross-Domain Sentiment Analysis（https://www.aclweb.org/anthology/2020.acl-main.370/）这是ACL2020上的一篇长文，作者来自北京邮电大学。这篇文章将BERT模型用在跨领域情感分析上，所使用的方法并没有非常新颖，不过实验和分析倒是挺多的。大体
论文：Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis地址：https://www.aclweb.org/anthology/2020.acl-main.293/这是ACL2020上的一篇长文，作者来自澳大利亚伍伦港大学。（感觉wollongong翻译成卧龙岗更带感）在这篇文章中，作者没有使用一个端到端的模型
前言：虽然我综述过至少4遍预训练语言模型，但每次看都依然可以发现一些新的东西。经典的突破性进展，值得让人深入反复讲。过去 NLP 领域是一个任务用标注数据训练一个模型，而现在我们可以在大量无标注的语料上预训练出一个在少量有监督数据上微调就能做很多个任务的模型。这其实也会比较
一、背景介绍 BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结
一、背景介绍 BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结
今天给大家介绍EMNLP2020的一篇关于多语言翻译新范式的工作multilingual Random Aligned Substitution Pre-training (mRASP)[1]，核心思想就是打造“机器翻译界的BERT”，通过预训练技术再在具体语种上微调即可达到领先的翻译效果，其在32个语种上预训练出的统一模型在47个翻译测试集上
今天给大家介绍EMNLP2020的一篇关于多语言翻译新范式的工作multilingual Random Aligned Substitution Pre-training (mRASP)[1]，核心思想就是打造“机器翻译界的BERT”，通过预训练技术再在具体语种上微调即可达到领先的翻译效果，其在32个语种上预训练出的统一模型在47个翻译测试集上
转： 多征用几台电脑，今天我们一起玩玩多GPU分布式训练的深度学习 尝试过的童鞋都知道，要想玩转深度学习，尤其是模型的训练，可得准备好性能足够强的电脑。CPU倒是无所谓，但GPU，越多越好，越快越好。可就算你不差钱，装备了最高端的AI专用GPU计算卡，面对复杂的模型，训练起来依然要花大量时间等等
代码真的好难啊，就算是照着抄也会错，真的是服了，大半天就只做了这一个事，还好的是最后都敲出来了。 源代码参考网址：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/04_transformer_tutorial_2nd_part/BERT_tutorial/models/bert_model.py 论文网址： BERT: Pre-
目录1. GPT基本思想2. GPT模型结构3. GPT预训练3.1 无监督的预训练3.2 有监督的fine-tuning4. 具体任务的模型微调5. GPT与BERT模型的区别参考 OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用单词的上文预测单词，而 BER
1 简介 ELECTRA：Efficiently Learning an Encoder that Classifies Token Replacements Accurately. 本文根据2020年《ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS》翻译总结。根据标题可以知道ELECTRA更关注识别，而不是生成；像BERT这种其实
什么是 BERT？BERT 是预训练语言表示的方法，也即我们基于大型文本语料库（如维基百科）训练通用的“语言理解”模型，然后将模型用于下游的 NLP 任务（如问答） 。BERT 比之前的方法更优，因为它是第一个用于预训练 NLP 的无监督、深度双向系统。无监督意味着 BERT 只使用纯文本语料库进行训练，这点
什么是 BERT？BERT 是预训练语言表示的方法，也即我们基于大型文本语料库（如维基百科）训练通用的“语言理解”模型，然后将模型用于下游的 NLP 任务（如问答） 。BERT 比之前的方法更优，因为它是第一个用于预训练 NLP 的无监督、深度双向系统。无监督意味着 BERT 只使用纯文本语料库进行训练，这点
英文文本中文文本
前言虽然最近找工作找的头皮发麻，但依然抽出了时间看了看最近很热的 Paper， 主要是俺的那个 RACE 榜单，又 ** 刷新了，老宋表示很忧伤啊。这篇文章算是对最近看的文章的一个小总结，文章没有提很详细的公式，原理之类的， 我尝试从思想上谈谈目前多个模型的改变，然后提一提我自己的一些思路和看
前言一个合格的博客主需要学会制作高质量的博客（蹭热点），最近最热的，应该就是 Bert 了，一直想捋一遍预训练语言模型的前世今生，但随便瞅了瞅 GPT-2， 感觉，emmm，放弃。但最近有两篇文章引起了我的注意，这两篇文章的名字都叫 ERNIE， 一篇是百度的，另一篇清华与华为诺亚方舟合作的，很巧的是，二者的重
前言一个合格的博客主需要学会制作高质量的博客（蹭热点），最近最热的，应该就是 Bert 了，一直想捋一遍预训练语言模型的前世今生，但随便瞅了瞅 GPT-2， 感觉，emmm，放弃。但最近有两篇文章引起了我的注意，这两篇文章的名字都叫 ERNIE， 一篇是百度的，另一篇清华与华为诺亚方舟合作的，很巧的是，二者的重
前言前几天面试，有面试官直接拿 bert 的源码让我分析，emm， 有点厉害呀。还好老宋底子可以， 之前看过 Transformer 的实现，自己也用 Transformer 写了一下文本分类任务，没有难住我，哈哈哈哈。不过，看来，如今，面试官们已经不满足仅仅只问原理了， 倒也是，如何看出一个人的代码能力，看看他读源码的能
概 述自然语言处理中的 Transformer 模型真正改变了我们处理文本数据的方式。Transformer 是最近自然语言处理发展的幕后推手，包括 Google 的 BERT。了解 Transformer 的工作原理、它如何与语言建模、序列到序列建模相关，以及它如何支持 Google 的 BERT 模型。引 言现在，我喜欢做
https://arxiv.org/pdf/2003.11563.pdf 1.常见NLP数据增强+BERT在失衡数据上的表现 任务为2分类。正负样本比例为28% vs. 72%（这里以正/负指代文中的propaganda/non-propaganda）。 BERT模型采用BERT_base，增加全连接层，用于对句子编码分类。 常见NLP数据增强方法详见https://arxi
前言Bert 在自然语言理解领域获得了巨大的成功，但是在自然语言生成领域却表现不佳，这是由于 Bert 训练时所采用的语言模型所决定的。Bert 这种 DAE 语言模型只学习到了词的上下文表征的能力，即理解语言的能力，但没有学习到如何组织语言的能力，可以参见以下 XLNet 中前言部分所提到的 AR
写在前面去年NLP领域最火的莫过于BERT了，得益于数据规模和计算力的提升，BERT在大会规模语料上预训练（Masked Language Model + Next Sentence Prediction）之后可以很好地从训练语料中捕获丰富的语义信息，对各项任务疯狂屠榜。我们在对BERT进行微调之后可以很好地适用到自己的任务上，具体
如标题所言，本文主要内容为最近一段时间内对中文NER任务的一些实践小结。文章内容包括对一些NER模型方法的介绍，以及各个方法在一个公开数据集上的实验比对。虽然这些模型方法或多或少为人所知，但是还是有一些细节部分在实践中才能注意到。我希望通过对这些细节的关注，加强自己模型实现
