基于预训练–微调策略的电影票房预测

有监督学习模型对数据量有着较高的依赖，然而现有电影票房数据集较少，导致预测精度降低。针对上述问题，提出一种基于预训练–微调策略的电影票房预测模型。利用电影评分和电影票房之间的相关性，在电影评分数据集上采用预训练的方式，使模型提前获取有关电影的先验知识，同时利用电影间的属性差异信息进行数据增强，最后在电影票房数据集上进行微调，实现对电影票房的预测。实验结果表明，所提方法R2指标提升了7%，MSE下降了69%。

预测电影票房已经成为一种新型需求，投资人通过衡量电影票房收入和电影制作预算来判断投资回报，同时电影票房预测可以为投资决策、广告策略等提供参考信息，对电影行业发展具有重要意义。

在电影票房预测研究中，研究人员使用计量经济学和机器学习方法对电影票房预测进行广泛研究， 基于电影属性分析电影票房的影响因素，再利用影响因素进行电影票房预测[1] [2] [3]。Dai 等人[4]使用灰色关联度计算分析电影票房的影响因素，再使用神经网络对票房进行预测。Wang 等人[5]利用动态异构网络学习演员、导演和公司之间潜在表征，使用深度学习模型从预告片中提取电影质量的高级表示， 基于学习到的特征来训练预测模型，进行票房预测。

随着社交媒体的兴起，研究人员开始从数据驱动角度考虑电影票房预测问题[6] [7] [8] [9]。从社交媒体上获取消费者对不同电影的评价，消费者对不同明星的喜爱程度等各种信息，通过对这些信息进行情感分析等处理，再对电影票房进行预测。Asur 等人[10]提出了一种正负极性模型，该模型可以对网络评论进行情感分析，基于这些分析进行电影票房预测。Kim 等人[2]基于社交网络服务数据，提出了非累计票房的预测模型。Shen 等人[11]基于社交网络评论分析电影演员的社会网络特征，结合电影元数据特征和演员社交网络度量等特征，提出FC-GRU-CNN 电影票房预测模型。QIU 等人[12]利用微博上的影评， 计算网络指数和影评来进行票房预测。然而，现有的有监督模型不能很好地适应电影票房数据量较低的预测场景，导致模型预测精度较低。

随着深度学习模型规模的扩大，Bert [13]、GPT [14] [15] [16]等预训练模型取得成功，预训练-微调策略已经被应用在多模态模型[17] [18]、计算机视觉[19] [20] [21]、自然语言处理[22] [23]等领域。

在自然语言处理领域，基于在大量文本数据集的预训练后，可以将模型应用在各种自然语言处理的子任务中，并有着较好的性能，例如机器翻译[24] [25]，实体类型推断[26] [27]，序列标记[28]等。预训练可以帮助模型在目标任务中，仅需要少量的目标任务数据，即可完成任务。

除了电影票房之外，电影评分也是评判一部电影质量的重要指标，且与电影票房具有相关性。本文提出了基于预训练–微调策略的电影票房预测模型，在电影评分数据集上采用预训练方式，使模型提前接触到更多的电影数据，学习到更多电影的相关特征信息。然后在少量电影票房数据集上做训练，实现电影票房的精准预测。

2. P-EL 预测模型 本文构建基于预训练–微调策略的电影票房预测模型P-EL (Pre-Training and Fine-Tuning Ensemble Learning)，通过预训练策略，在一定程度上解决了因电影票房数据量不足导致的预测精度下降的问题。