标签:Correspondence PRGC 实体 矩阵 Potential Relation Triple 子集 全局
https://arxiv.org/pdf/2106.09895
先指出TPLinker存在的问题:为了避免曝光偏差,它利用了相当复杂的解码器,导致了稀疏的标签,关系冗余,基于span的提取能力差
作者提出新的模型,包括三部分:
- Potential Relation Prediction
- Relation-Specific Sequence Tagging
- Global Correspondence
对于主客体对齐,设计了一个关系无关的全局对应矩阵,用于确定特定的主客体。
给定一个句子,模型先预测一个可能存在关系的子集,以及得到一个全局矩阵。
然后执行序列标注,标注存在的主体客体。
最后枚举所有实体对,由全局矩阵裁剪。
尽管它引入了通常提到的曝光偏差,但是仍有优越性。
编码器
bert
Potential Relation Prediction预测关系
首先预测潜在关系的子集,只需要从这些潜在实体里提取子集。
给定embedding h,潜在关系预测模块如下:
问题建模为多标签二分类任务,比如有56种关系,那就有56个sigmoid。
如果概率超过阈值就认为存在关系,否则标记为0。
接下来只需要应用抽取的子集对应的embedding,而不是所有embedding
Relation-Specific Sequence Tagging
依次解码主体和客体,是因为解决实体重叠问题。
因为crf无法解决实体重叠问题。不使用传统的lstm-crf做命名实体识别,而是直接上全连接。
Global Correspondence
上一步获得了主体和客体,随后用一个全局通信矩阵,确定正确的实体对。
全局通信矩阵的学习,和第二步的Potential Relation Prediction学习过程一样。
首先列举所有可能的主客体对,同样设定超过阈值就保留,否则丢弃。
三个任务联合训练
损失函数是:
标签:Correspondence,PRGC,实体,矩阵,Potential,Relation,Triple,子集,全局 来源: https://blog.csdn.net/li_jiaoyang/article/details/118310030
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。