近日，由浙江大学计算机科学与技术学院董亚波、鲁东明老师指导的2022级博士生吴雨寒同学一篇题为“Semi4TSF: End-to-End Semi-supervised Contrastive Representation Learning for Time Series Forecasting”论文被IEEE Transactions on Industrial Informatics（简称TII）录用。该期刊是计算机学科领域的中科院一区top期刊，影响因子为12.3。

研究背景

      时间序列数据通常由物联网传感器和智能可穿戴设备每天连续收集，在气象、金融股票市场、医疗保健和交通等各个领域都至关重要。然而，收集这些数据往往既费时又昂贵。此外，由于复杂的动态和时间变化，时间序列预测（TSF）带来了重大挑战。

      传统的监督学习方法依赖于清洁和标记的数据，降低了它们在现实世界应用中的有效性。自监督方法通常采用两阶段框架：预训练和微调。然而，该框架存在关键问题：（i）计算成本高：两个阶段可能需要增加计算资源，并且更耗时。（ii）未标记数据的利用有限：预训练的无监督对比损失不会直接影响下游的微调预报员，从而限制了最终的模型优化。（iii）标记数据的利用有限：预测模型仅在微调过程中受益于标记，未能在整个培训过程中利用由地面实况指导的有价值的监督和预测损失。

      此外，将这两个阶段视为一个整体，自监督框架本质上是处理半监督数据集（预训练中的未标记数据+微调中的标记数据），这自然激励我们开发一个单阶段端到端的半监督范式，以最大限度地利用半标记数据。

图1 两种框架 （a）两阶段框架 （b）我们端到端框架

      为了解决上述问题，我们引入了Semi4TSF，这是一种新颖的端到端半监督对比学习框架，旨在减少对大量注释的依赖。与传统的两阶段方法相比，Semi4TSF（i）保留了相同的组件（编码器+预测器）；（ii）使用相同的数据集（大量未标记和有限标记的数据）；（iii）将来自无监督学习的知识无缝集成到监督学习中，确保强大的泛化能力；（iv）将下游任务的目标纳入训练过程，优化预测器并促进特定任务的特征学习；（v）引入了一种混合损失，将无监督和有监督的对比损失与预测损失相结合，用于端到端框架的联合训练。我们的框架最大限度地提高了未标记样本的增强视图之间的相似性，整合了标记信息，并将预测器无缝集成到训练过程中，从而提高了性能。

      我们Semi4TSF的整体流程图如图所示：

图2 Semi4TSF框架

      为了验证Semi4TSF模型有效性，该团队将Semi4TSF框架与其他基准模型在时间序列预测任务中的进行对比。并对其进行消融实验分析。

研究结果

（一）端到端框架vs两阶段框架

      我们使用四个指标进行全面的线性评估：MSE、MAE、RMSE和R平方（R2）。我们将我们的Semi4TSF与ETTh1、ETTh2、ETTm1、功率和天气数据集的基线进行比较，这些数据集是用5%到100%的标记数据训练的。没有后缀的基线使用“两阶段”方法，而带有***的基线表示“端到端”框架。

（二）消融实验

      为了评估每个损耗分量的影响，我们在11种条件下对ETTh1和Power数据集进行了实验：（1）“W/Ls”：在Semi4TSF的微调阶段引入监督对比损耗Ls。（2）Semi4TSF（两阶段）：我们的“两阶段”模式框架。（3）W/Lu（T）：仅去除时域损失（Ltime），即去除频率损失、时频一致性损失、监督和预测损失。（4）W/Lu（T+F）：仅去除时域和频域损失（Ltime+Lamp+Lphase），即去除时频一致性损失后的监督和预测损失。（5）W/Lu（T+F+TF C）：仅无监督损失（Ltime+Lamp+Lphase+LT F C），即去除了监督和预测损失。（6）W/Ls：仅监督损失，即去除无监督和预测损失。（7）W/Lf：仅预测损失，即去除无监督和有监督的损失。（8）“W/o Lu（Ls+Lf）”：去除无监督损失，即编码器和预测器用Ls+Lf更新；（9）“W/o Ls（Lu+Lf）”：去除监督损失，即编码器和预测器用Lu+Lf更新；（10）“W/o Lf（Lu+Ls）”：消除预测损失，即编码器和预测器更新为Lu+Ls.（11）Semi4TSF（端到端）：我们的框架采用“端到端”模式，即Lu+Ls+Lf。

      从表4可以看出，对于端到端模式，每次修改都会削弱模型，使ETTh1的MSE降低26.6%、24.3%、22.3%、20.1%、18.5%、15.0%、16.9%和17.5%。具体来说，频率对比任务引导特征鲁棒性，导致ETTh1提高4.2%，Power提高3.2%，这意味着频率可以帮助学习时间序列的周期性特征。在引入时频一致性时，它通过增强特征可辨性进一步提高了性能，ETTh1提高了2.5%，Power提高了3.1%。 

      此外，与“Only Lu”相比，“Only Ls”和“Only Lf”在ETTh1上的MSE分别降低了2.8%和4.7%，在Power上的MSE降低了2.2%和2.3%；与“W/o Lu”相比，“W/o Lf（Lu+Ls）”在ETTh1上使MSE降低了5.8%，在功率上降低了9.0%，“W/o Ls（Lu+Lf）”在ETT1上降低了6.5%，在功率下降低了9.8%。与“W/o Lu（Ls+Lf）、W/o Ls（Lu+Lf、W/o Lf（Lu+Ls）”相比，我们的Semi4TSF（端到端）提高了13.9%、16.9%、17.5%，突出了每个区块的影响，监督和预测区块更有效。对于两阶段模式，我们将“Ls”添加到“Semi4TSF（两阶段）”中，即“W/（两阶段+Ls）”，使MSE分别提高了5.8%和9.5%，突显了监督损失Ls的影响。然而，它仍然落后于“Semi4TSF6（端到端）”6.4%和16.7%，突显了将所有三种损失整合到“端到端”范式中的好处。

      综上所述，可以得出结论：（1）频率对比学习和时频一致性策略都有助于学习有价值的表示，进一步提高模型性能。（2）无监督对比损失、有监督对比损失和预测损失这三个块都有助于提高性能，后两个块更有效。（3）监督对比损失效益，包括“端到端”和“两阶段”模式。（4）“端到端”框架优于“两阶段”框架。

总结与期望

      在本文中，我们首次提出了一个基于端到端的半监督时间序列预测框架，Semi4TSF。它将无监督、有监督的对比损失和预测损失整合到一个统一的目标函数中，有效地利用大量未标记和有限标记的数据来得出有意义的表示。我们的框架允许自适应地将衡量每类损失的贡献，从而达到最佳性能。

      具体地，我们的框架采用两个增强库来丰富数据多样性，并通过跨域依赖和判别模式学习来促进时间谱对齐。在频域中，我们引入可学习的傅里叶层，分别对频域的振幅和相位进行对比学习，有助于周期性的域内学习。此外，我们引入由真实值引导的监督对比损失和预测损失，将标签信息引入训练过程，协助模型学习以更好地适应预测任务。大量实验表明我们的端到端的Semi4TSF优于两阶段版本和其他sota的对比学习方法，证明了其有效性和优越性。由于目前针对半监督对比学习预测方面的研究非常有限，希望我们的工作填充了这一任务的空白。

作者信息

      吴雨寒，2022级博士生，指导老师：董亚波、鲁东明。主要研究方向：时序预测，主要包括：群体智能优化算法、时频域表征学习，对比学习等。

导师信息

      董亚波，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：物联网技术、文物保护技术、传感器数据挖掘及处理等。

      鲁东明，博士，浙江大学计算机科学与技术学院教授，主要研究方向：虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。