近日，由网络与媒体实验室董亚波、许端清老师指导的2022级博士生孟析宇同学一篇题为 “StreamTimer: Efficient Inference for Long-Context Time Series Transformers”论文荣获IJCAI-ECAI 2026 Distinguished Paper Award（杰出论文奖）。IJCAI（International Joint Conference on Artificial Intelligence，国际人工智能联合会议）是人工智能领域的国际顶级学术会议，也是全球人工智能研究者交流前沿成果的重要平台。IJCAI-ECAI 2026 本届杰出论文奖仅授予 3 篇论文，StreamTimer 为其中之一。

研究背景

气象、能源、交通和工业传感等场景中的时间序列会持续产生新观测，预测模型也需要不断滚动更新结果。现有时间序列Transformer通常采用固定窗口：每当一个新patch到来，就重新编码整个历史窗口。窗口越长，模型越有机会利用季节变化和长期趋势，但重复计算、显存占用和推理延迟也会迅速增加。语言模型中的KV缓存看似可以直接复用历史计算，但时间序列具有显著的非平稳性；当每个输入窗口使用不同的均值和方差进行归一化时，旧KV与当前patch可能处在不同的统计空间，直接复用会不断累积误差。与此同时，无限制保存所有历史缓存又会使存储开销持续增长。因此，长历史、高效率和预测稳定性如何同时兼顾，是流式时间序列推理中的关键问题。

研究创新点

针对上述问题，作者提出StreamTimer，将时间序列预测从“反复重算固定窗口”改写为“持续更新模型记忆”。其方法包含三个相互配合的部分：（i）流式KV缓存：初始化阶段完整编码一次历史，此后只处理新到来的patch，并让它查询已经保存的历史Key和Value，从而避免重复提取旧特征；（ii）面向缓存一致性的混合尺度归一化：同时融合输入窗口的全局统计量和当前patch的局部统计量，使模型既保留长期幅值信息，又能跟随短期分布变化，并使用一致的统计量完成反归一化；（iii）固定预算下的选择性记忆：根据注意力分数保留更有价值的历史token和承担注意力锚点作用的特殊记忆token，淘汰贡献较低的缓存。这样，模型在控制内存增长的同时，仍能持续吸收新信息并利用更长的历史。

图1 StreamTimer混合尺度归一化模块

图2 StreamTimer的KV缓存技术示意图

为了验证StreamTimer的有效性，团队围绕多变量滚动预测、长上下文预测、跨数据集零样本迁移、归一化消融与推理效率开展了系统实验。下表为论文原文中的主要多变量预测结果。

（1）预测结果

如上表所示，StreamTimer在8个数据集的80项MSE/MAE比较中取得69项第一，总体占比为86.3%；其中MSE有36/40项第一，占90.0%，MAE有33/40项第一，占82.5%。以ETTh1为例，平均MSE为0.378，较Timer-XL的0.409降低7.6%，较Timer的0.418降低9.6%；在720步预测中，MSE为0.399，较Timer-XL和Timer分别降低9.1%和13.4%。在ECL的720步预测中，MSE较Timer-XL和Timer分别降低5.3%和11.9%；Solar-Energy的平均MSE较Timer降低16.3%。在40年ERA5-MS多站点气象任务中，平均MSE为0.165，较Timer-XL和Timer分别降低0.6%和2.4%；8组跨数据集零样本迁移任务中有7组获得最低MSE，占87.5%。

（2）消融实验

团队进一步检验了归一化设计与KV缓存流式推理之间的关系。与RevIN相比，本文方法在表6的24项MSE/MAE对照中全部更优，占100%；按各项相对降幅计算，12项MSE平均降低23.5%，12项MAE平均降低15.9%。以720步预测为例，ETTh1上Timer和Timer-XL的MSE分别由0.524、0.531降至0.399、0.403，相对降低23.9%和24.1%，MAE也分别降低19.6%和19.9%；Weather上MSE分别由0.491、0.485降至0.312、0.311，相对降低36.5%和35.9%，MAE分别降低21.2%和22.0%。同时，ETTh1的MSE降幅会随预测长度从约10%扩大至约24%，Weather则从约19%扩大至约36%，说明混合尺度归一化在长距离流式预测中的优势更加明显。

总结与展望

StreamTimer重新审视了长上下文时间序列Transformer的推理方式：与其在每次新数据到来时截取窗口、重复计算全部历史，不如让模型维护一个可持续更新、容量受控的记忆。流式KV缓存减少了重复计算，混合尺度归一化解决了非平稳数据带来的缓存失配，选择性记忆则限制了长期运行中的存储开销。实验表明，这套机制能够在降低推理时间和显存增长的同时保持甚至提升预测精度，尤其适合需要连续预测的长序列场景。未来可以进一步探索动态缓存预算、跨变量记忆共享以及面向不同时间序列基础模型的自适应缓存更新，使持续预测在更长时间、更大规模和更低延迟的部署环境中稳定运行。

作者简介

孟析宇，2022级博士生，指导老师：董亚波、许端清。主要研究方向：时序预测，主要包括：流式预测优化,混合专家系统,轻量级预测系统等。

导师简介

许端清，浙江大学人工智能学院教授，主要研究方向：人工智能、深度学习、图像智能处理等。

董亚波，浙江大学人工智能学院副教授，主要研究方向：物联网技术、文物保护技术、传感器数据挖掘及处理等。

论文链接：IJCAI-ECAI 2026官方预印本

奖项公告：IJCAI-ECAI 2026官方Press页面