基于BERT-BiLSTM-BiGRU-CNN的文本情感分析模型

针对当前情感分类模型不能充分提取短文本显著特征的问题，提出一种融合多特征和注意力机制的情感分析模型Bert-BILSTM-BIGRU-CNN。首先，使用BERT预训练语言模型进行文本表示。然后，将双向长短期记忆网络(BiLSTM)、双向门控循环单元(BiGRU)和一维卷积神经网络(CNN)模型进行集成，用于提取文本特征，并添加了自注意力机制以更好地理解上下文。最后，在亚马逊评论数据集上对所提模型进行了训练和验证。通过实验证明，所提出的模型在准确率、召回率和F1值等三种指标上都优于现有模型，在二元情感分类分析中表现更为出色。

随着社交网络的普及，人们日益习惯在互联网上分享各类信息，如文本、数字图像和视频等。在这些信息中，文本扮演着举足轻重的角色，人们倾向于分享关于社交科学、热门话题、电影等领域的观点和见解，这些观点通常以短文本的形式呈现[1]。短文本具有简洁、有效的特点，然而，理解和分析其中的情感类型却颇具挑战性[2]。情感分析在理解文本核心内容及获取有价值信息方面具有关键作用，其目的在于挖掘和提取文本中的客观或主观信息[3]。但当前研究多把该问题作为一种通用类型处理，往往忽视了句子类型的差异。一些研究着重对包含明确情感目标的文本进行情感极性分类[4]，而另一些研究则通过比较句子内容来确定其具有积极的情感极性[5]。

评论是对特定主题(如电影或产品)的观点和情感反应的简短表述。

这些评论有助于负责人理解反馈和对他人的影响，从而判断是否购买产品或观看电影。应用情感分析有助于总结评论者所表达的观点。然而，评论在长度、包含的主题多样性、样本大小以及更多或更少明确的情感、强调情感的词汇和无关信息等方面存在差异。

因此， 对这些评论进行详细分析并提取所描绘的情感框架可能对推荐系统有所帮助。

在将这些评论作为任何模型的数据集之前，需要进行预处理。迁移学习已成为实现高准确处理自然语言的重要方法之一，无需大量处理单元和大型数据集。自然语言处理(NLP)模型，如词向量、段落向量和BERT，已被应用于迁移学习，在自然语言处理有重大贡献。

本文旨在探索通过整合传统深度学习模型是否能在提高准确性的同时取得更好的效果。将各个模型的优点结合起来，以弥补单个模型所存在的不足，以获得更优异的性能。

2. 相关工作 2.1. 情感分类 近年来，情感分析已经成为自然语言处理(NLP)领域的一个重要研究方向，并得到了广泛关注。在评论中弥合词汇差异对于增强数据上下文理解具有关键意义。由于情感分析涉及多个层面，许多研究采用不同类型的分析方法，如主观情感分类、目标导向情感分析、比较性情感分析和条件句情感分析等。

主观情感分类主要关注区分表达观点类型与事实信息类型。

为了评估情感文本的极性和强度， APPEL等人[6]提出了一种混合方法， 结合了SentiWordNet和Fuzzy模型， 进一步分析句子的情感。

此外， Gavilanest等人[7]提出采用无监督文本分类方法预测在线句子中的情感，以提高情感分析的效果。