ValueError: Expected target size (64, 31), got torch.Size([64, 63])

2020-01-27 16:04:14 阅读：1363 来源： 互联网

Pred-Esti介绍

Preictor-Estimator是一个两阶段的神经质量评估模型，它包括两个神经模型：

a predictor：词预测器，使用额外的大规模平行语料进行训练
an estimator：质量评估器，使用质量标注了的平行语料（QE data）训练

问题

在训练estimator模型时出现了这样的问题：
在这里插入图片描述
这是因为pred_tags和tags的维度不同的。

如图所示：使用的wmt19数据中给出的标注的tags文件中包括MT tags和Gap tags，而预测的tags中只有MT tags

pred_tags = [1, 0, 0, 0, 0, 0, 1, 0, 0]		#	OK:0;BAD:1
tags = [BAD, BAD, OK, BAD, BAD, OK, OK, OK, OK, OK, OK, OK, OK, BAD, OK, BAD, OK, OK, OK]

解决方法

# path_tags：MT tags + Gap tags
# path_target_tags：生成的MT tags
path_tags = "openkiwi/data/WMT19/wordsent_level/dev.tags"
path_target_tags = "openkiwi/data/WMT19/wordsent_level/dev.target_tags"

def target_tags(path1, path2):
    with open(path1, "r") as file:
        for line in file:
            array = line.strip().split(" ")[1::2]
            string = ' '.join(array)
            with open(path2, "a") as f:
                f.write(string + '\n')

target_tags(path_tags, path_target_tags)

pred_tags = [1, 0, 0, 0, 0, 0, 1, 0, 0]		#	OK:0;BAD:1
target_tags = [BAD, BAD, OK, OK, OK, OK, BAD, BAD, OK]

weixin_39103096 发布了2 篇原创文章 · 获赞 0 · 访问量 25 私信关注

标签：OK,target,tags,31,MT,BAD,64,path
来源： https://blog.csdn.net/weixin_39103096/article/details/104090786

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

ValueError: Expected target size (64, 31), got torch.Size([64, 63])

Pred-Esti介绍

问题

解决方法