融合BERT多层特征的方面级情感分析

BERT (Bidirectional Encoder Representation from Transformers)预训练语言模型相较于传统词向量(one-hot、word2vec等)可以动态表示词语，并且在11项下游任务中取得了最好的结果。基于BERT在特定语料中微调的方式逐渐被广泛应用于情感分析任务中并且取得了不错的效果，然而仅仅使用BERT最后一个编码层的输出特征用于分类，忽略了其他层学习到的语义特征。不同于以往基于BERT的分类模型，BERT-MLF融合了BERT每一个编码层输出的方面特征，并通过卷积层提取层之间的关键语义特征，减少冗余信息的影响，充分利用了每个编码层学习到的信息。该方法在SemEval-2014 Task 4的Laptop和Restaurant数据集上进行了大量实验，实验结果表明该方法实现了良好的分类性能。

随着经济和互联网的发展，网民数量急剧增长，人们在互联网上日益活跃，伴随着大量网络信息的产生。其中包括大量文本信息，如购物网站的用户评论、餐饮服务的用户点评等用户产生的文本信息。

这些文本大多包含一定的感情色彩，人工分析大量文本中的情感信息往往费时费力，随着计算机和深度学习的发展，利用计算机分析文本中的情感信息能达到事半功倍的效果，其研究价值和商业价值越来越明显。

情感分析是自然语言处理中的一个热点任务，早期的句子级情感分析和文档级情感分析主要是对整个句子或文档进行情感分类，从一个句子或者文档中总结出一个情感，没有考虑句子中存在多个方面的情况。然而一个句子往往包含实体的多个方面，这无疑忽略掉了句子中丰富的情感信息。方面级情感分析(Aspect-Based Sentiment Analysis, ABSA [1] [2] [3])作为更加细粒度的情感分析， 目的是对句子中多种方面的情感极性进行分析。比如，对于评论“这个手机的做工很精致，但是电池容量太小了。”，方面级情感分析旨在分析出对于“做工”和“电池容量”两个不同方面的情感倾向，得出<做工，积极>和<电池容量，消极>的结论。相较于句子级和文档级，方面级情感分析更加精准的对句子中不同方面的情感进行分析，没有忽略整句话或者整个文档中包含的多种情感信息。在实际应用中，如对电商平台中的用户评论或评价进行方面级情感分析，进一步分析出用户对产品不同方面的满意程度，有助于商家完善服务和产品的质量，有比较高的研究意义。

由于方面级情感分析需要从句子中分析出实体不同方面对应的情感极性，而不同实体方面往往有不同的情感极性，所以相比句子级和文档级要更加困难。现有的方法一般是对每个方面单独处理，为了准确分析出对应方面的情感，一般会将方面信息加入到模型中来监督模型提取方面对应的情感。在BERT等预训练语言模型被提出以前，多用CNN 和LSTM 提取特征，以及利用注意力机制关注句子的重要部分。BERT 被提出后，基于BERT 微调的方式在分类效果上表现出优异的性能。而对于基于BERT 微调的方面级情感分析，通常将最终方面特征和分类特征拼接后进行分类。也可以构造辅助句子将单句分类任务转换为BERT 句子对分类任务。由于BERT 独特的自注意力机制，使得其每个输出特征都关注了句