研究成果概述

近日，浙江大学计算机科学与技术学院由董亚波、鲁东明老师指导的2022级博士生吴雨寒同学一篇题为“Affirm: Interactive Mamba with Adaptive Fourier Filters for Long-term Time Series Forecasting”论文被AAAI Conference on Artificial Intelligence（简称AAAI 2025）录用，该会议美国人工智能协会（Association for the Advancement of Artificial Intelligence）年会，是国际先进人工智能协会举办的年度顶级学术会议（CCFA），是全球人工智能领域内最具影响力和权威的国际学术会议之一，旨在促进理论、方法、技术以及应用等人工智能领域的学术和技术交流。

研究背景

物联网传感器和可穿戴设备每天持续收集的时间序列数据本质上是连续的、随时间变化的。时间序列预测（TSF）基于历史观测预测未来值，广泛应用于金融、气象、医疗和交通领域。如今，TSF的深度学习模型主要分为四类：Transformer、MLP、CNN和RNN。基于Transformer的方法是主流，但其在处理小数据集时遇到了困难，由于参数大小大和二次复杂性，很容易陷入过拟合和计算效率低下的问题。MLP也有其问题：难以处理复杂、嘈杂的数据，无法捕捉长期相关性。同样，CNN受到小感受野的限制，阻碍了长期依赖的有效性。与LSTM和GRU一样，RNN解决了长期依赖性问题，但存在计算效率低和缺乏并行化的问题，导致训练和推理速度较慢。Mamba通过选择性扫描机制改进了SSM功能，该机制根据输入量身定制参数，增强了特征压缩和信息提取。它还采用了一种独特的硬件感知算法，以实现更好的并行处理，提供比Transformers更快的推理和可扩展性。但Mamba在较低频率下难以应对时间变化，促使我们考虑如何提高曼巴在TSF中的表现。显然，通过更好地学习时间序列数据中的短期和长期依赖关系，可以做出改进。

研究创新点

针对现有技术的限制，浙江大学计算机学院网络与多媒体实验室提出了自适应傅里叶滤波交互式的Mamba （Affirm），一种轻量级的时间序列模型，其规模类似于Transformer，但用提出的自适应傅里叶滤波器块（AFFB）取代了自我关注机制。AFFB利用了时域卷积和频域元素积之间的数学等价性。在这个神经运算符中，Affirm用四个关键步骤替换了自我注意层：（i） 傅里叶变换：将信号从时域转换到频域。（ii）自适应阈值：使用可学习阈值衰减高频或低频，这是一种降低噪声和提高信号清晰度的策略。（iii）自适应滤波：通过元素积在所有频率上应用可学习的全局和局部滤波器进行自适应滤波，捕捉类似于循环卷积的长期和短期相互作用。（iv）傅里叶逆变换：将频率逆回到时域。此外，我们用提出的交互式双Mamba块（IDMB）取代了传统的前馈网络，其中具有双因果卷积核大小的Mamba促进了交互式学习以提取时间模式。我们Affirm的整体流程图如图所示：

图1 Affirm框架

为了验证Affirm模型有效性，该团队将Affirm框架与其他基准模型在时间序列预测任务中的进行对比。并对其进行消融实验分析。

（1）预测结果

  如上表所示，Time-LLM模型通过利用鲁棒的llama-7B模型，有效地捕捉复杂的模式而表现出色。Affirm在除Time LLM之外的几乎所有基准测试中都表现出色，在八个数据集中的七个数据集上取得了第二好的性能，在ETTh1和ECL（平均值）上比SOTA PatchTST提高了MSE 4.0%和6.9%，证实了其在各种情况下的稳健性。ffirm和TSLANet都使用神经运算符，Affirm在ETTm2和Exchange（平均值）上分别实现了1.6%和3.5%的MSE改进，表明其在学习长期依赖性方面的有效性。此外，结果还表明，Affirm超越了专业的变形金刚和MLP。这些模型，如iTransformer和Dllinear，在某些情况下表现出色，但在其他情况下表现不佳。GPT4TS还展示了GPT模型在预测方面的能力，在某些数据集中取得了第二好的成绩。

（2）消融实验

  为了评估Affirm中不同组建的贡献，我们通过比较Affirm及其不同变体进行了消融研究。下表显示了删除每个组件时模型在2个数据集上的性能。值得注意的是，删除自IDMB（i.e., w/o IDMB）和适应频率滤波块（i.e., w/o AFFB）会导致性能显著下降，但IDMB的效果小于AFFB。其中 w/o IDMB 在2个数据集上， MSE会下降2.6%, 5.4%, MAE会下降2.5%, 4.4%，表明了它的重要性. w/o AFFB 会导致在MSE和MAE值更高，MSE下降了5.1%, 5.8%, MAE下降2.8%, 5.1%.这凸显出我们提出的两个模块在特征提取和降噪中的关键作用。同样，我们分别排除AFFB的2个局部自适应部分(w/o LPF, w/o HPF)来分析噪声过滤的影响。发现删除LPF和HPF都会损坏性能，但LPF影响更大，这说明高频噪声大于低频噪声对性能的作用。此外，我们也对同时删除这两个局部滤波器进行分析(w/o LPF+HPF),这时候只存在全局滤波，没有对频率进行任何的噪声处理，发现性能会遍变更差，这也进一步证明了这两个局部分量在处理噪声方面的价值。预训练的作用同样得到了验证，因为它的缺失会略微降低模型在预测任务上的性能。

总结与展望

在这项工作中，我们提出了Affirm，一种用于时间序列预测的新型轻量级框架。它将Mamba与自适应傅里叶滤波器创新地结合在一起，作为Transformers的有力替代品。它引入了双交互式Mamba（IDMB），并使用dropout正则化来提高参数选择性并防止过拟合。此外，它在频域中集成了自适应全局和局部傅里叶滤波器（AFFB），其中局部神经算子利用可学习的阈值来过滤噪声，并创新地将其与IDMB相结合。实验证明了Affirm在时间序列预测任务中实现SOTA能力和效率的权衡，特别是在噪声条件下和不同数据大小下保持高精度水平的能力。其中对Affirm复杂性分析验证了其在显著降低计算成本的前提下仍然保持最好的性能。此外，我们深入的逐层扩展分析表明，Affirm在较小的数据集上优于Transformers，并且随着层的增加，尤其是在较大的数据集中，表现出更强的可扩展性。Affirm为TSF作为基础模型开辟了新的途径。

论文及作者信息等

吴雨寒，2022级博士生，指导老师：董亚波、鲁东明。主要研究方向：时序预测，主要包括：群体智能优化算法、时频域表征学习，对比学习等。该工作得到浙江省科技计划项目（2023C03183），及浙江大学石窟寺数字化保护重点科研基地的支持。

导师信息

董亚波，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：物联网技术、文物保护技术、传感器数据挖掘及处理等。

鲁东明，博士，浙江大学计算机科学与技术学院教授，主要研究方向：虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。

论文链接：

https://openreview.net/forum?id=XescyOrj3l&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DAAAI.org%2F2025%2FConference%2FAuthors%23your-submissions)