基于LSTM、Transformer和LightGBM的机构备付金预测方法

机构备付金是金融机构的重要指标之一，对于评估其稳定性和偿付能力具有重要意义。在第三方支付机构备付金集中存管的背景下，准确预测支付机构备付金的变动对于监管机构风险管理等方面具有重要价值。笔者提出了一种基于LSTM、Transformer和LightGBM的机构备付金预测模型。利用树模型针对表格数据的快速性和准确性，选取交易日志的关键特征；利用Transformer的全局上下文建模能力捕捉财务文件的局部特征；最后采用LSTM算法获取结合后的数据的长期依赖关系。实验结果表明：该模型在机构备付金方面的预测准确性优于ARMA算法、LSTM算法和时序预测Transformer模型。

机构备付金是支付机构用于应对风险和支付义务的储备资金。准确预测机构备付金的变动对于支付机构和监管机构具有重要意义。机构备付金金额受到工作日周期、季节周期、交易活动、政策影响、市场趋势、特殊事件等多方面复杂因素影响，很难人工对各个因子的影响下进行综合量化分析[1]。

机构备付金预测问题属于标准的时间序列预测问题。目前，类似的研究主要包含以下几类[2]：1) 基于统计的方法；2) 传统时间序列分析方法[3] [4]，如ARMA；3) 机器学习方法[5]，如SVM；4) 深度学习方法，如LSTM [6]、Prophet [7]等方法。

金融领域的时间序列预测往往存在以下特点：长期的预测需要考虑趋势信息，短期的预测需要考虑细粒度的波动性，一些周期规律不太明显的场景，依赖关系会随着时间动态变化。由于备付金数据的复杂性和非线性特征，传统方法在捕捉备付金变动中的复杂关系方面存在局限性。随着这些年来深度学习技术的不断发展， 深度学习方法能够自动学习和提取复杂的时间序列模式，具有强大的上下文理解能力， 用于时间序列预测具有显著的优势。

但是，现有的机构备付金预测方法往往仅能引入节假日、季节等简单特征，依赖在历史时序趋势中添加少量“拐点”实现对金额曲线的逼近。对于真正重要的多方面复杂因素影响，未能提出可靠方案引入，难以获得更准确的预测结果。如何将政策影响、市场趋势、特殊事件等高维度的信息引入预测模型， 如何将复杂交易日志引入模型获取细粒度波动信息，是本文研究的关键点。为此，我们提出了一种由Transformer、LightGBM 和LSTM 三个模型堆叠实现的机构备付金预测模型。Transformer 模型负责分析财务报表、文件等的局部特征，LightGBM 模型负责提取交易日志的核心特征，LSTM 模型获取前两者的输出作为输入，结合历史数据、时间区间特征、季节周期等特征进行全局建模，挖掘备付金变动中的长期依赖关系和全局因素，完成机构备付金预测。

2. 模型关键技术设计 2.1. 基于LightGBM 的交易特征提取模型 在考虑机构备付金时，不仅仅聚焦于最后的汇总值。各个类型、不同主体、不同内容的交易日志与之息息相关。其中隐含着机构特点、市场因素、特殊事件等多方面复杂因素，有些交易与最终机构备付