标签：BERT 嵌入 泛读 模型 阿拉伯语 187 上下文 ABSA

贴一下汇总贴：论文阅读记录

论文链接：《Arabic aspect based sentiment analysis using BERT》

一、摘要

基于方面的情感分析(ABSA)是一种文本分析方法，它定义了与特定目标相关的某些方面的观点的极性。关于ABSA的大部分研究是用英语进行的，少量工作是用阿拉伯语进行的。大多数先前的阿拉伯语研究依赖于深度学习模型，该模型主要依赖于与上下文无关的单词嵌入(例如，word2vec)，其中每个单词都有独立于其上下文的固定表示。本文从预先训练的语言模型(如BERT)中探索上下文嵌入的建模能力，并在阿拉伯语ABSA任务中使用句子对输入。特别是，我们正在建立一个简单但有效的基于BERT的神经基线来处理这项任务。根据在基准阿拉伯酒店评论数据集上的实验结果，我们具有简单线性分类层的BERT架构超越了最先进的作品。

二、结论

在本文中，我们探索了上下文嵌入的建模能力，从预先训练的BERT模型中受益于阿拉伯语ABSA任务的句子对输入。具体来说，我们研究了将BERT嵌入组件与简单的线性分类层相结合，并在阿拉伯酒店评论数据集上进行了广泛的实验。实验结果表明，尽管我们的模型很简单，但它超越了最先进的作品，并且对过度拟合具有鲁棒性。

三、模型架构

BERT使用双向能力在两个独立但相关的自然语言处理任务上进行了预训练:掩蔽语言建模和下一句预测。BERT有效地处理了理解自然语言最困难的方面——歧义，在分析接近人类的语言时可以达到很高的准确率。

一些对比实验：

标签：BERT,嵌入,泛读,模型,阿拉伯语,187,上下文,ABSA
来源： https://blog.csdn.net/qq_41485273/article/details/119274152

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。