融合BERT和知识图谱的文本情感分析模型

近年来，在线评论数与日俱增，这些在线评论涉及的范围较广，在某些特定领域里专业性较强。深度学习模型在大规模语料库上学习到了自然语言的通用表达，但在一些专业领域里对语义信息的提取还不够充分。针对该问题，本文提出一种基于BERT和知识图谱的情感分析模型。该模型在文本输入中利用知识图谱注入专家知识，再利用BERT进行词向量化，生成包含上下文语义信息的动态词向量，最后通过全连接层输出情感极性。结果表明，该文章提出的模型在几个公开数据集上提升了准确率，具有实际意义。

网络信息技术的高速发展促进了电子商务交易的萌芽，在各种网络平台用户数持续增长的今天，在线评论的数据量也是与日俱增。在线评论中蕴含着丰富的信息，不仅是消费者购物的重要参考依据，也成为了企业在线口碑的重要影响因素。目前，基于在线评论中消费者情感倾向的文本挖掘已经成为商家企业改进产品、提升竞争力的重要手段之一。

文本情感分析由Nasukawa 等人于2003 年首次提出[1]， 传统的方法有基于情感词典[2]和基于机器学习的方法[3]，但这两种方法都有一定的局限性。近年来随着深度学习在其他领域的大放异彩，研究人员也日益将目光聚焦到自然语言处理上。Bengio 等[4]提出了神经网络语言模型，给后续的语言模型研究带来了许多启发。在此基础上，Mikolov 等[5]提出了word2vec 模型，Pennington 等[6]提出了Glove 模型。

然而这些模型生成的词向量无法随着语境的变化而改变取值， 因此难以解决一词多义的问题， 因此Peters等[7]提出了基于双向语言表征的ELMO 模型。这类模型虽然通过预测或统计的方法得到了上下文信息， 却没有充分感知到情感信息，导致一些词义相反的词语在语义相似度上反而会非常接近。

随着注意力机制在图像识别领域的成功， 研究人员发现其优良的特性同样适用于自然语言处理。

Wei等[8]设计了一种融合多头正交注意力的Bi-LSTM 模型用于提取句子中的隐性情感极性。衡红军等[9]设计了一种融合多尺度卷积和注意力机制的情感分析模型用于筛选出更加能代表用户和产品关联性的语义成分。Devlin 等[10]提出的BERT 模型为自然语言处理的发展带来了重大突破，该模型基于Transformer架构，使用注意力机制学习文本的深层特征。

虽然深度学习在情感分析方向表现出良好的性能，但模型本身的可解释性并不强，在语义表达上不太符合人类的认知，并且对于某些特定领域中专业性较强的文本，仅依靠上下文往往无法充分提取到句子的语义信息。因此，有学者提出引入外部信息来提高深度学习模型的效果。Donatas 等[11]通过手动创建词汇化领域本体，引入双向注意力机制，以获取特定领域的知识进行情感分析。杨秀璋[12]等通过融合情感词典的特征提取方法优化了特征词权重，再结合BiLSTM、CNN 和注意力机制进行文本情感分析。

知识图谱(Knowledge Graph, KG) [13]作为一种人为总结的知识库，体现了人类对客观逻辑的认知和推理过程，具有较强的语义表达能力，将知识图谱与深度学习模型相融合，可以帮助模型更深入地理解文本中的深层语义信息。本文在这种思想的基础上设计了一种融合BERT 和知识图谱的情感分析模型。

2. 模型设计 本文提出的融合BERT 和知识图谱的情感分析模型结构如图1 所示。