近日，浙江大学计算机科学与技术学院由董亚波、鲁东明老师指导的2022级博士生吴雨寒同学一篇题为“Multi-view Self-Supervised Contrastive Learning for Multivariate Time Series”论文被Proceedings of the 32nd ACM International Conference on Multimedia（简称ACM MM 2024）录用，该会议是计算机图形学与多媒体领域的国际顶级会议（CCFA），被誉为多媒体技术领域“奥运级别”的顶级盛会。

研究背景

    时间序列数据在现实世界的多个领域中扮演着重要角色，如医疗、金融和能源等行业。这些数据通常由物联网传感器采集，记录了随时间变化的各种变量的动态。然而，获取这些带标签的数据通常需要大量的时间和财务投入。标签稀缺的问题严重阻碍了传统监督学习方法的应用，因为训练数据不足会影响模型的性能。为了解决这些挑战，学界已尝试通过无监督学习方法来提取时间序列数据的通用表示，但现有的对比学习技术尽管取得了一定进展，仍存在采样偏差和全局上下文丢失的问题，且常常忽略了丰富数据表示的频域信息。

研究创新点

    针对现有技术的限制，浙江大学计算机学院网络与多媒体实验室提出了一个时间-频率和上下文一致性（TFCC）的新型自监督对比学习框架，如图1。TFCC框架通过在时间和频率两个维度上进行实例级增强，保留了整个序列的原始属性，同时有效地减少了假阴性和假阳性。此外，本框架设计了两个跨视图预测模块，使用过去增强的样本来预测原始样本的未来，从而学习到鲁棒的表示。这些方法首次将相位扰动增强和序列上下文信息的预测引入到频域中，极大地丰富了模型的学习能力。通过三个一致性模块??时间一致性、频率一致性和时间-频率一致性??进一步提升了在潜在空间中的判别性表示学习，如图2。

图1 多元时间序列通用自监督表示学习框架 TFCC

图2 三个一致性（正样本对）

为了验证TFCC模型有效性，该团队将TFCC框架与其他基准模型在分类和预测任务中的进行对比。

（1）分类任务：论文中对分类任务的实验使用了三个广泛应用的数据集：癫痫（Epilepsy）、人类活动识别（HAR）和睡眠阶段（Sleep-EDF）。在这些实验中，TFCC框架与多种已有的对比学习方法进行了比较，包括随机初始化（Random Init.）、监督学习（Supervised）、对比预测编码（CPC）、SimCLR、多层次对比学习（MHCCL）、TS-TCC、TF-C、BTSF、和CA-TCC等。结果显示，TFCC在所有数据集上都取得了最佳表现，如表1。

TFCC之所以在分类任务中表现优异，主要得益于其创新的多视图对比策略和实例级增强技术。通过在时间和频率域同时进行增强，TFCC能更全面地捕捉时间序列数据的动态变化和周期性特征，从而学习到更鲁棒和判别性强的特征表示。此外，TFCC设计的跨视图预测任务有效地促进了模型在不同视图间的一致性，进一步提高了模型对时间序列本质特征的捕捉能力。

（2）预测任务：在预测任务中，TFCC的表现同样出色。实验涉及多个预测数据集，包括电网交易时间序列（ETT）和天气预测数据集。对比的基线模型包括自动时间序列对比学习（AutoTCL）、信息时间序列（InfoTS）、TS-TCC、CoST、以及端到端的模型如TCN和Informer等。在各种不同的预测时长设置下，TFCC consistently outperformed these baselines，例如，在ETT1数据集上，TFCC在预测时长为24小时的设置下，平均绝对误差（MAE）为0.428，远低于其他方法，如表2。

       TFCC在预测任务中的优越性能可以归因于其能够综合利用时间和频率信息来学习时间序列的内在特征。通过频率域的增强和预测任务，TFCC能够捕获时间序列的周期性和频谱特征，这些在传统的时间域方法中往往被忽视。此外，TFCC的一致性模块有效地整合了来自不同域的信息，增强了模型对长期依赖性的捕捉能力，从而在多步预测任务中展现出更好的性能。

  此外，为了验证模型每个模块的贡献，我们对TFCC进行了消融实验来探索各个组件的重要性，如表3。这些实验逐步探索了时间对比模块、时间域增强、时间一致性以及时间和频率一致性的独立贡献，结果显示加入时间和频率域的增强以及一致性模块显著提升了模型的性能。完整的TFCC模型，整合了所有提出的组件，表现出最优的效果，验证了在时间和频率多个维度上进行增强和一致性约束的有效性和互补性，凸显了该框架在处理复杂时间序列任务中的先进性和潜力。这些消融实验不仅证实了TFCC框架设计的合理性，也为未来在类似领域的研究提供了宝贵的见解。

总结与展望

本研究的TFCC框架通过创新的多视图对比学习策略，显著提高了分类和预测任务的性能，并在半监督学习和迁移学习场景中展现了出色的效率。这些成果不仅验证了TFCC在处理标签稀缺问题时的有效性，还展示了其在不同时间动态和语义含义下提取通用时间序列表示的能力。未来，这项工作可以进一步探索如何在更复杂和嘈杂的时间序列中应用并优化TFCC框架，以及如何扩展该框架以适应更多实际应用场景，为时间序列分析领域带来更广泛的影响。

论文及作者信息等

吴雨寒，2022级博士生，指导老师：董亚波、鲁东明。主要研究方向：时序预测，主要包括：群体智能优化算法、时频域表征学习，对比学习等。该工作得到浙江省科技计划项目（2023C03183），及浙江大学石窟寺数字化保护重点科研基地的支持。

导师信息

董亚波，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：物联网技术、文物保护技术、传感器数据挖掘及处理等。

鲁东明，博士，浙江大学计算机科学与技术学院教授，主要研究方向：虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。

论文链接：

Openreview:https://openreview.net/forum?id=BgjLy3chju&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3Dacmmm.org%2FACMMM%2F2024%2FConference%2FAuthors%23your-submissions)

DOI: https://doi.org/10.1145/3664647.3681095 (2024.10.28-11.01开完会之后即可下载)