基于注意力机制的用户动态兴趣推荐算法

传统推荐算法由于缺乏对用户兴趣的精准捕捉，会导致算法性能不佳等问题。随着深度学习在推荐系统领域应用的不断深入，针对该问题有了许多很好的解决方法。为实现对用户动态兴趣的捕捉与行为的预测，提出一种基于注意力机制的用户动态兴趣推荐算法(Attention Mechanical Recommendation Al-gorithm Based on Long Short-Term, AM_LST)。该算法通过潜在因子模型与门控循环单元，分别实现对用户长短期兴趣的动态捕捉；并使用注意力机制将用户长短期兴趣有机结合，来改善传统推荐算法因用户兴趣的动态变化而导致推荐效果下降的问题。最终通过对比实验，证明了本文提出的模型在性能上的提升。

当前，越来越多的互联网场景开始使用推荐算法为用户定制个性化推荐界面，而推荐算法的准确率与用户对该应用的依赖度明显成正比关系，因此只有充分提高应用的推荐算法性能才能有效提高该应用的使用率，这样一方面利于用户检索匹配自身需求的信息，另一方面利于“商品”的有效推广。传统的推荐算法往往只单独关注了用户的长期或是短期兴趣，即根据用户的属性以及长期以来关注的更多的信息进行推荐，或是仅根据用户近几次会话进行即时推荐。而在实际应用中，用户的兴趣并不是固定不变的，而是会随着时间的推移动态变化，因此基于时间的序列推荐被提出，该类推荐致力于挖掘用户的动态兴趣，以实现对用户兴趣的更精准捕捉。早期解决序列推荐问题的方法是使用马尔可夫链[1] [2] (Markov Chain, MC)等。

后来， 循环神经网络(Recurrent Neural Network, RNN)、卷积神经网络(Convolutional Neural Network, CNN)等被成功地应用于序列推荐[3] [4]。

再到后面注意力机制(Attention Mechanism, AM)在深度学习模型上的应用取得了巨大成果[5] [6] [7]，也大大改善了序列推荐的预测能力。

注意力机制是源自人类视觉研究的一种信号处理机制。人类在关注某件事物时，其注意习惯往往具有选择性，并不会对该事物的各部分平均分配注意力，而是会选择性地将主要注意力投放至指定区域， 而对其他区域分配较少或是不分配注意力。

基于该现象提出的注意力机制能够有效优化模型的建模效果， 提高模型的建模效益，其本质是让模型自己学习如何分配注意力，为输入信号加权，在强调感兴趣的区域同时，抑制不相关的背景区域，以突出重要特征对结果的影响。目前，注意力机制已被广泛地应用于深度学习的各个领域，并从2017 年开始应用于推荐领域，AFM [8]、DIN [5]等模型中都引入了注意力机制。

本文提出一种利用注意力机制融合用户长短期兴趣的推荐算法——基于长短期的注意力机制推荐算法(Attention Mechanical Recommendation Algorithm Based on Long Short-Term, AM_LST)， 使用注意力机制对用户的长短期兴趣特征按照学习到的权重相融合，以实现用户长短期兴趣的自动捕获与长短期权重的自动分配，有效提高推荐效果。

2. 用户动态兴趣捕捉 本文在融合潜在因子模型与门控循环单元的长短期推荐算法(Recommendation Algorithm Based on Long Short-Term, RA_LST)的基础上引入注意力机制，以提高模型的推荐性能。RA_LST 模型分别通过潜