标签：group level attention extraction supervision bag ATT inter

Distant supervision relation extraction with intra-bag and inter-bag attentions

• 来源：Ye et al.,NAACL 2019

• 任务：DSRE

• 动机：之前DSRE大多关注intra-bag即sentence-level的降噪处理，但inter-bag即bag-level之间亦可能由噪声，比如整个bag内的所有句子都标注错误了那么bag也就错了，那么在一组bag中这个标错的bag就是噪声了。

• 方法：主要两个部分，分别为sentence-level的attention、bag-level的attention降噪，如图1结构非常清晰。

• 前半部分包括句子编码以及句子级别的attention都类似(Lin et al., 2016 之后都用PCNN_ATT代指)的处理，唯一不同点在于attention的设计，PCNN_ATT中只是针对当前bag标注的关系来计算权重，本文希望考虑所有可能的关系，最终得到的bag表示为\(B\in \mathbb{R}^{h\times 3d_c}\)，h为关系类别数即每行代表一个与关系k相关的bag表示，共有h个bag表示，但之前看到个PCNN_ATT的复现，代码具体实现也是采用本文说的针对所有关系的attention。

• inter-bag attention. 将类别相同的bag构成一组，我们就是要对组内bag表示做attention后得到group表示\(G\in \mathbb{R}^{h\times 3d_c}\)，第k行即为针对关系k的group表示，具体attention权重计算详见原文根据点乘相似度计算权重得分。之后对group表示预测其类型，每个类型得分根据对应类型和group表示向量内积，如公式8。

  

  

  

• 实验：数据集为NYT。没细看常规操作吧。

标签：group,level,attention,extraction,supervision,bag,ATT,inter
来源： https://www.cnblogs.com/n-ooo/p/16367731.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。