标签：得分 span 共指 Neural mention Coreference end Resolution

End-to-end Neural Coreference Resolution

作者：Lee et al. EMNLP 2017.

目录

• 简介
• 模型
• 总结

1 简介

本文主要针对Coreference Resolution(共指消解)任务，提出一个神经网络端到端模型。既然是共指消解，那么每个可能的mention span的表示就是核心部分，而我们的目的就是为每个span分配一个先行词(antecedents，代词指向的对象，就是都指向同一个entity的mention吧)，进而实现共指cluster聚类。

2 模型

大致分为两个步骤：span表示、计算Coreference Resolution得分后softmax预测，如图1、图2。

每个span的先行词\(y_i\)，顾名思义，\(y_i\)可能的span集合为\(\mathcal{Y}(i)=\{\varepsilon,1,...,i-1\}\)。

整体训练目标如下图，假设有N个span，为每个span分一个先行词假设得分最高的是\(y_i\)，每个span得分概率累乘。

得分计算原理如下图，\(span_i,span_j\)共指得分的计算，j为空则为0，否则为i,j均为mention的得分与两者共指的得分之和。

Scoring Architecture

假设span表示为\(g_i\)那么，span是否为mention以及两个span之间的共指得分，就是由FFNN计算得到的，输入为对应span表示以及span表示的哈达玛积的拼接，额外加了些外部特征信息。

Span Representations

文中也说了，span表示就是核心部分。没细看，因为17年时间有点久远了，自从transformer、bert出来后，基于BERT做处理明显更优秀一些。一般BERT对squence分词、编码后，按照数据集中给定span范围的头尾位置的token的embedding拼接作为span表示，也是一个常规操作了，在此基础上可能还有很多变化，比如在span前后加上special markers标识span范围以及span类型，或者再拼个[CLS]等context信息之类的。

3 总结

看这篇主要是为了补一下(Eberts et al., EACL 2021)\(^{[2]}\)这篇主要参考的paper以及简单了解一下Coreference Resolution。

参考

[1] Kenton Lee†, Luheng He†, Mike Lewis‡, and Luke Zettlemoyer†∗.End-to-end Neural Coreference Resolution.EMNLP 2017.

[2] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.

标签：得分,span,共指,Neural,mention,Coreference,end,Resolution
来源： https://www.cnblogs.com/n-ooo/p/16216056.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。