当前位置:首页>学术动态

【喜讯】网络与媒体实验室高水平论文被ESWA2023录用

编辑:netmedia 发布时间:2023-11-13 访问次数:352

  近日,由董亚波、鲁东明老师指导的2022级博士生吴雨寒同学一篇题为“Effective LSTMs with seasonal-trend decomposition and adaptive learning and niching-based backtracking search algorithm for time series forecasting”论文被Expert Systems With Applications (简称ESWA)录用,该期刊是计算机学科领域的中科院一区top期刊,影响因子为8.7。


时序预测模型内部参数优化问题

  时间序列预测(TSF)是一种普遍存在的预测技术,用于许多领域预测建模和估计的行业。然而,尽管在我们的社会,传统的TSF模式,如自回归(AR)、自回归积分移动平均(ARIMA)和状态空间模型(SSM),在处理多步骤时具有显著的局限性预测和长期非线性数据。这些限制阻碍了它们在TSF中的有效性任务。

  为了应对上述挑战,创新和适应性强的时间预测模型已经出现。长短期记忆(LSTM)可以有效地处理冗长的序列。此外,通过它的反馈机制和记忆特征,LSTM可以捕捉序列之间的时间依赖性。然而,原始LSTM存在固有的结构局限性。

  首先,它缺乏有效捕捉季节性和时间序列数据中的趋势。在处理长期时间序列时,原始LSTM可能很难准确地揭示时间相关性,因为复杂的时间模式可能会模糊这些关系。因此,对LSTM引入一种“良好”的时间依赖偏置变得至关重要。其次,vanilla LSTM模型在精确性方面面临限制确定其内部网络参数,这直接影响预测精度。这个设置内部权重和阈值的任务具有挑战性,其特点是不确定性和缺乏明确的指导。此外,在训练过程中,模型存在风险收敛到局部最小值,需要使用适当的优化算法发现最优网络模型。因此,搜索最优网络模型往往需要一种耗时的试错方法,进一步强调了谨慎选择优化算法选择的重要性。


STL-ALN_BSA-LSTM模型

  为了解决普通LSTM的局限性,一种很有前途的方法是使用包含合适的偏置和优化算法的混合模型。一个有竞争力的混合动力模型通常由三个关键部件组成:(1)机器学习模型,(2)数据预处理方法,以及(3)优化算法。STL是一种稳健的时间序列分析方法,它能够将任何时间序列分解为不同的季节、趋势和残差分量。对异常值进行稳健处理,并保持估计精度,从而增强预测性能和稳定性,此外,STL可以适应各种季节性模式。回溯搜索算法(BSA)有较广泛的应用,但BSA在平衡方面仍缺乏勘探和开发能力。

  为了解决这个问题,我们提出了一种新的BSA变体,称为自适应学习和基于小生境的回溯搜索算法(ALN_BSA)。ALN_BSA在选择I和交叉中结合适应性因子以增强群体多样性和提高勘探能力。在选择II阶段,niching方法和自适应因子正弦递减策略进一步提高种群多样性。此外,我们结合轮盘选择策略,指数递减策略,以及利用teacher-learning思想,提高全局搜索能力。通过上述策略,从而实现种群多样性和收敛速度的平衡。


图片

模型整体框架

  总得来说,本文主要目标是揭示时间序列中的潜在模式,并解决参数的不确定性和随机性对提高预测精度提出了挑战。首先,STL将序列分为季节性、趋势性和剩余项三部分。然后利用ALN_BSA优化每个LSTM内部权值和阈值(季节性LSTM、趋势性LSTM和剩余LSTM),从而建立STL-ALN_BSA-LSTM模型,并将该模型在“降雨量”、“用电量”两个公开数据集进行验证,显著提高了预测准确性。

图片

“降雨量”预测结果对比(17种模型)

版权所有:浙江大学网络与媒体实验室   电话 (+86)571-87951388  传真 (+86)571-89751105

您是第4863444位访问者 | 创高软件 管理登录 旧版入口