基于多头注意力卷积Transformer的假新闻检测

随着通信技术和社交媒体的迅速发展，假新闻的广泛传播已经成为一个严重的问题，对国家和社会造成了巨大的损失。因此，检测假新闻已经成为备受关注的研究领域。虽然卷积神经网络(CNN)在局部特征提取方面效果出色，但其对顺序依赖和长距离依赖的处理能力较弱。因此，本文提出了一种注意力卷积Transformer模型，结合了Transformer架构和CNN提取局部特征的优点，并实现高效的假新闻检测。本文引入了一种新的注意力机制——多头注意力卷积机制，通过卷积过滤器将复杂的词空间转换为信息更丰富的卷积过滤器空间，从而捕捉重要的n-gram信息。该模型不仅能够捕捉局部和全局的依赖关系，还能保留词语之间的序列关系。实验结果在两个真实数据集上表明，多头注意力卷积Transformer在假新闻检测任务中的准确率、召回率和F1值明显高于TextCNN、BiGRU和传统的Transformer模型。

新闻是人们了解外界信息的主要渠道，新媒体时代下，繁杂多样的社交平台促使新闻的传播环境、传播形式和传播内容发生巨大变化，社交媒体在给人们获取信息便利的同时，也成为虚假新闻恣意传播的渠道。虚假新闻是由专业媒体发布，通过操控舆论来达成某种政治或经济目的的手段。虚假新闻的危害极大，如果不能被及时发现并遏止，极易引起经济衰退和社会动荡，根据2019 年CHEQ 和巴尔的摩大学的经济研究报告显示，人类在没有特殊情况的帮助下仅能识别出54% [1]的虚假新闻。与此同时，每年由于虚假新闻造成的经济损失高达780 亿美元[2]。这一数据揭示了虚假新闻对全球社会和经济的严重影响。在这复杂环境下，为了提高读者对假新闻的防范意识，一些平台，如Twitter、Facebook、新浪微博[3]等，会提供信息检测基站来识别假新闻，但这些平台需要花费大量资金聘请领域专家来应对各类假新闻，耗时又耗力。因此，探索更加智能高效的自动化虚假新闻检测方法具有重要意义。

早期的虚假新闻检测都会使用机器学习方法对新闻文章进行自动检测。比如，通过研究探索用于区分虚假内容和真实内容的不同文本属性[4]，研究人员利用这些特征，并使用各种方法训练多种机器学习算法的组合，以实现准确的检测结果。这些研究极大地推进了自动化虚假新闻检测的进程。然而，假新闻内容非常复杂，在使用机器学习方法对假新闻进行检测时，存在着很多的局限性。首先，特征提取是传统机器学习方法的核心环节之一，但对于假新闻来说，其特征往往是复杂而难以捉摸的。传统方法需要依靠人工设计和选择特征来描述新闻文章，然后将这些特征作为输入传递给机器学习模型。但是，对于假新闻[5]来说，可以利用的特征可能并不明显或一致，因此提取出有效的特征变得非常困难。例如， 假新闻可能使用与真实新闻类似的词汇和句法结构[6]，或者通过掩盖真相和错误引用来迷惑读者，这些特征并不容易被机器学习模型捕捉到。其次，数据不平衡也是一个常见的问题[7]。由于真实新闻的数量普遍远远大于假新闻的数据量，机器学习模型可能更加倾向于预测为真实新闻。这会导致模型对假新闻的学习不足，容易将假新闻误分类为真实新闻。最后，语义复杂性也是传统机器学习方法在假新闻检测中的一个挑战[8]。假新闻往往通过歪曲事实、引导误导或语义模糊来误导读者。传统机器学习方法在处