近日，由董亚波、鲁东明老师指导的2022级博士生吴雨寒同学一篇题为“Effective LSTMs with seasonal-trend decomposition and adaptive learning and niching-based backtracking search algorithm for time series forecasting”论文被Expert Systems With Applications （简称ESWA）录用，该期刊是计算机学科领域的中科院一区top期刊，影响因子为8.7。

时序预测模型内部参数优化问题

  时间序列预测（TSF）是一种普遍存在的预测技术，用于许多领域预测建模和估计的行业。然而，尽管在我们的社会，传统的TSF模式，如自回归（AR）、自回归积分移动平均（ARIMA）和状态空间模型（SSM），在处理多步骤时具有显著的局限性预测和长期非线性数据。这些限制阻碍了它们在TSF中的有效性任务。

  为了应对上述挑战，创新和适应性强的时间预测模型已经出现。长短期记忆（LSTM）可以有效地处理冗长的序列。此外，通过它的反馈机制和记忆特征，LSTM可以捕捉序列之间的时间依赖性。然而，原始LSTM存在固有的结构局限性。

  首先，它缺乏有效捕捉季节性和时间序列数据中的趋势。在处理长期时间序列时，原始LSTM可能很难准确地揭示时间相关性，因为复杂的时间模式可能会模糊这些关系。因此，对LSTM引入一种“良好”的时间依赖偏置变得至关重要。其次，vanilla LSTM模型在精确性方面面临限制确定其内部网络参数，这直接影响预测精度。这个设置内部权重和阈值的任务具有挑战性，其特点是不确定性和缺乏明确的指导。此外，在训练过程中，模型存在风险收敛到局部最小值，需要使用适当的优化算法发现最优网络模型。因此，搜索最优网络模型往往需要一种耗时的试错方法，进一步强调了谨慎选择优化算法选择的重要性。

STL-ALN_BSA-LSTM模型

  为了解决普通LSTM的局限性，一种很有前途的方法是使用包含合适的偏置和优化算法的混合模型。一个有竞争力的混合动力模型通常由三个关键部件组成：（1）机器学习模型，（2）数据预处理方法，以及（3）优化算法。STL是一种稳健的时间序列分析方法，它能够将任何时间序列分解为不同的季节、趋势和残差分量。对异常值进行稳健处理，并保持估计精度，从而增强预测性能和稳定性，此外，STL可以适应各种季节性模式。回溯搜索算法（BSA）有较广泛的应用，但BSA在平衡方面仍缺乏勘探和开发能力。

  为了解决这个问题，我们提出了一种新的BSA变体，称为自适应学习和基于小生境的回溯搜索算法（ALN_BSA）。ALN_BSA在选择I和交叉中结合适应性因子以增强群体多样性和提高勘探能力。在选择II阶段，niching方法和自适应因子正弦递减策略进一步提高种群多样性。此外，我们结合轮盘选择策略，指数递减策略，以及利用teacher-learning思想，提高全局搜索能力。通过上述策略，从而实现种群多样性和收敛速度的平衡。

模型整体框架

  总得来说，本文主要目标是揭示时间序列中的潜在模式，并解决参数的不确定性和随机性对提高预测精度提出了挑战。首先，STL将序列分为季节性、趋势性和剩余项三部分。然后利用ALN_BSA优化每个LSTM内部权值和阈值（季节性LSTM、趋势性LSTM和剩余LSTM），从而建立STL-ALN_BSA-LSTM模型，并将该模型在“降雨量”、“用电量”两个公开数据集进行验证，显著提高了预测准确性。

“降雨量”预测结果对比（17种模型）