标签：加权 训练 bert 模型 这边 参数 epcho 句子 向量

1、bert那么大，你的训练数据只有10w，会过拟合吗，epcho是不是只能设置为1？

看过epcho的曲线，当epcho小于10时，评测的效果会存在震荡的情况。epcho设置为20时，表现的比较稳定。

2、分词时，你这边做了什么处理么？

有一些领域特定的词，这边不需要把它分开，我们会把这些词加入jieba的初始词表中。

3、句子向量如何表示，你有调研过么？

doc2vec,emol,bert,albert等都可以用来表示句子向量

4、word2vec求均值表示句向量是一种常见的方式，你有想过什么其他的加权策略吗？为什么你们做的时候不加权？

可以通过idf,tfidf来加权。第一版预期的聚类簇可能就不会有那么好，所以没考虑加权的方式来处理。

标签：加权,训练,bert,模型,这边,参数,epcho,句子,向量
来源： https://blog.csdn.net/u013069552/article/details/114701304

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。