融合注意力机制的改进神经协同过滤模型

注意力机制如今被广泛的应用到各个领域，注意力机制的引入可以使模型的不同部分占据不同的权重从而为最终预测做出不同的贡献。本文基于何向南博士提出的神经协同过滤模型做出改进，在此模型基础上融合长短期记忆网络与广义矩阵分解以捕获用户的长期偏好和短期偏好，同时引入注意力机制，关注用户属性，例如性别，年龄，职业等对推荐效果的影响，为用户属性分配不同的权重，通过用户历史观看序列和用户个人信息进行学习来提升推荐模型的性能。本文基于提出的模型，在MovieLens-1M数据集上进行实验验证，并与其他推荐模型进行对比。实验证明本文提出的融合注意力的长短期记忆网络矩阵分解模型(ALSMF)拥有更好的推荐效果。

在如今的个性化时代，推荐算法无疑是当今算法领域的一大热点。它被应用在电商，新闻等各个领域，在这些领域中也发挥着至关重要的作用。近年来，深度学习技术迅速发展，很多推荐算法模型都把深度学习技术与协同过滤模型相结合。

新加坡国立大学的何向南博士首次提出了神经协同过滤模型(Neural Collaborative Filtering, NCF) [1]。

文中何博士在此框架下融合了广义矩阵分解(GMF)和多层感知机模型(MLP)， 前者通过利用线性内核来建模用户与项目潜在特征向量之间的交互关系，后者则是使用非线性内核学习交互函数，进一步优化推荐模型，此模型被命名为神经矩阵分解模型(Neural Matrix Factorization, NMF)。针对NMF 无法同时捕获用户长期偏好和短期偏好的问题，论文[2]提出在神经协同过滤模型的框架下，将长短期记忆网络和广义矩阵分解进行融合， 同时捕捉用户的短期偏好和长期偏好。

利用长短期记忆网络对时序数据的强拟合能力， 学习用户的短期偏好信息，捕捉序列的长依赖关系，通过广义矩阵分解学习用户的长期偏好信息，这对推荐性能有了进一步的提高。

近年来，注意力机制被广泛应用到深度学习模型中，针对目标项目的不同进行更有针对性的推荐。

2017 年，浙江大学提出了注意力因子分解机(AFM) [3]，在因子分解机的基础上，对每个特征交叉结果加入注意力得分，并利用注意力网络计算注意力得分。但是这个注意力网络的训练过程比较复杂。2019 年阿里巴巴提出了深度兴趣网络(DIN) [4]，在传统深度学习推荐模型基础上引入注意力机制，利用用户行为历史和目标项目的相关性计算注意力得分。

综合深度学习和注意力机制在推荐算法模型上的优良表现， 本文在LSMF 模型上进行进一步的改进， 由于LSMF 没有充分利用除了用户行为序列以外的特征，对于用户的个人信息特征没有做提取，浪费了很多已知的关键信息，导致推荐精度不够。因此在LSMF 模型的基础上，本文提出了融合注意力机制的LSMF 模型(ALSMF)。通过引入注意力机制，为各个项目和特征分配注意力权重来更好的表达推荐场景中用户的个性化喜好，提高推荐质量和推荐的可解释性。

2. 相关知识 2.1. 神经协同过滤模型 神经协同过滤模型利用隐式反馈数据，即不关注具体评分，只关注用户与项目是否有交互行为，利