基于改进粒子群算法优化回声状态网络的时间序列预测

由于结构简单、收敛速度快等优点，回声状态网络(Echo State Network, ESN)已被广泛的用于时间序列的预测。针对回声状态网络中随机生成权值矩阵带来的不适用于特定时间序列的问题，本文提出利用改进的粒子群优化算法来优化回声状态网络部分随机权值。与标准粒子群优化算法相比，惯性权重和学习因子自适应调整，以提高算法的寻优性能。为验证本文方法的有效性，对Mackey-Glass时间序列、非线性自回归滑动模型(Nonlinear Auto Regressive Moving Average, NARMA)和Lorenz时间序列进行仿真实验。实验结果表明，本文提出的方法可以进一步提升回声状态网络对时间序列的预测精度。

时间序列预测就是通过分析时间序列，根据历史数据的发展过程、方向和趋势对未来进行预测。时间序列预测在人类生活的各个领域都有着广泛的应用，如生物学领域的基因表达谱[1]、金融领域的股票价格[2]、社会领域的城市交通流量[3]、工业领域风能评估[4]和气候领域的温度变化预测[5]等。然而，实际中的时间序列往往表现出复杂的特性，如非平稳、随机性、高维性、非线性和非周期性等，时间序列的预测研究仍然面临着巨大的挑战。

对于时间序列数据的预测方法，主要有线性方法和非线性方法。其中，线性方法主要有：自回归[6]、自回归滑动平均[7]、自回归综合滑动平均[8]等，这些线性方法适合持续时间较长、变化较为缓慢的时间序列的预测。非线性方法主要有：支持向量机[9]、最小二乘支持向量机[10]、人工神经网络[11]等。随着网络规模和复杂程度的不断提高，非线性方法可以很好地处理时间序列的非平稳、随机性、高维性、非线性和非周期性等问题。虽然非线性方法能够很好的处理复杂时间序列，但是也存在一些局限性，例如支持向量机和最小二乘支持向量机当训练样本过大时，会存在运行时间过长且效果不佳的问题。前向神经网络存在训练算法复杂， 网络结构难以确定， 网络计算量较大的问题[9]。

回声状态网络预测方法(ESN) [12]作为一种基于储备池计算的神经网络， 只需采用一个大规模的稀疏连接的储备池即可保证模型对非线性数据的处理能力。

因其训练过程简单， 计算量小， ESN 已被广泛用于时间序列的应用中[12] [13] [14] [15] [16]。然而，ESN 输入连接权值、储备池内部连接权值和反馈连接权值的随机性赋值，使得模型性能不确定、收敛速度慢，无法满足时间序列准确有效的预测需求[17] [18] [19]。

粒子群优化算法(PSO)作为一种元启发式算法，由于简单容易实现、搜索能力强，已被广泛应用于神经网络结构的优化[20]，电力[21]，工业[22]等领域。文献[15]中，作者利用标准粒子群算法对回声状态网络中部分随机权值进行优化，提升了网络的预测性能。然而，标准PSO 存在易陷入局部极小值和全局搜索能力不足等问题。为了克服标准PSO 算法的这些缺点，本文采用改进的粒子群算法(IPSO)对回声状态网络输入连接权值、储备池连接权值和反馈连接权值进行优化。试验结果表明该方法有效地减少了随机生成权值矩阵带来的不适用于特定任务的局限性，进一步提高ESN 的预测性能。