标签：BERT LCF 信息 语法 context 句法 属性 ASC
论文：Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis地址：https://www.aclweb.org/anthology/2020.acl-main.293/
这是ACL2020上的一篇长文，作者来自澳大利亚伍伦港大学。（感觉wollongong翻译成卧龙岗更带感）
在这篇文章中，作者没有使用一个端到端的模型，而是对属性词抽取（AE）和属性级情感分类（ASC）进行独立的研究。在AE任务中，作者结合了roberta、词法信息和句法信息；在ASC任务中，作者研究了如何在预训练语言中更好地结合句子和属性词。
CSAE：在AE中结合语法信息
作者将结合语法信息的AE任务称为CSAE（contextualized syntax-based AE）。在AE中使用语法信息的工作有很多，但是结合了预训练语言模型的倒是头次见。
如下图所示，句子的表示由三部分构成，分别是BERT的输出、由词法信息得到的表示和由句法信息得到的表示。得到句子的表示后，通过一个全连接层来预测相应的BIO字标签。下面分别介绍如何编码词法信息和句法信息。
利用词法信息 作者首先通过一个词法分析的工具[1]来得到句子对应的词性标签序列，然后通过一个嵌入矩阵将词性转化为向量，接着输入到自注意力层来建模词性之间的依赖关系。这里应该使用了位置嵌入（作者没有提到，但我觉得这里应该是要的）。
利用句法信息 句法信息的利用则是参考了14年的一篇工作[2]，这里介绍一下其大致思路。在skip-gram模型中，单词被用来预测上下文，上下文是通过一个窗口确定的；而此工作任务认为应该根据句法关系来确定上下文，作者将这种上下文称为Dependency-Based Contexts。具体来说，首先对给定句子进行句法解析，得到句法解析树，然后将其中的介词和关系进行合并，于是一个单词的Dependency-Based Contexts即为在树中该词的相邻节点和关系。
LCFS-ASC：在ASC更好地结合句子和属性词
最早在naacl19上有两篇工作在ASC任务中使用BERT，他们都是将句子和属性词拼接在一起送入到BERT模型中。但考虑到属性词是出现在BERT模型中的，这样的做法会有一些不妥。因此，还是在19年，有研究者提出了LCF-BERT[3]。 这篇文章所提出的LCFS-ASC和LCF-BERT的思路基本相同。
不妨记句子为S，属性词为A。称[CLS]+S+[SEP]+A+[SEP]为global context，而[CLS]+S+[SEP]为local context。如下图所示，将二者分别输入到BERT模型中进行编码。为了在local context引入属性词的信息，LCF-BERT中提出了两种方法（CDM/CDW）进行Local Context Focus(LCF)。下面简单介绍一下CDW和CDM。
CDM即为context dynamic mask，是指根据与属性词之间的距离来屏蔽句子中的一些单词；而完全屏蔽某些单词可能过于绝对，因此CDW（context dynamic weighting）则是按照与属性词之间的距离为单词赋予一个0到1之间的权重。具体的细节这里不再介绍。
LCFS-ASC即local context focus on syntax - ASC，与LCF-BERT的不同之处在于，在进行CDM/CDW时所使用的单词之间的距离，不再是通过位置计算，而是两个单词在句法解析树中的距离。
实验及分析
作者仅在semeval-14的ABSA数据集上进行了实验。如下表所示，使用了词法信息和句法信息后，f1值有了较大的提升（CSAE>RoBERTa-AE），句法信息带来的提升更加明显（RoBERTa-Dep>RoBERTa-POS）。
对于ASC任务，如下表所示，使用了LCFS的策略之后，模型性能有了很大的提高，并且CDW优于CDM；LCFS稍微优于LCF。
参考
1. Universal POS tags https://universaldependencies.org/u/pos/2. Omer Levy and Yoav Goldberg. 2014. Dependencybased word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 302–308. https://www.aclweb.org/anthology/P14-2050/3. Biqing Zeng, Heng Yang, Ruyang Xu, Wu Zhou, and Xuli Han. 2019. Lcf: A local context focus mechanism for aspect-based sentiment classification. Applied Sciences, 9(16):3389. https://www.researchgate.net/publication/335238076_LCF_A_Local_Context_Focus_Mechanism_for_Aspect-Based_Sentiment_Classification
记得备注呦
标签：BERT,LCF,信息,语法,context,句法,属性,ASC 来源： https://blog.51cto.com/u_15127535/2698964
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。