在当今数据驱动的时代，时间序列预测已成为各个领域做出明智决策的关键工具。准确的长期概率时间序列预测（LPTSF）能力意味着我们能够未雨绸缪，提前布局，在不确定性中把握先机。
然而，传统的预测模型在处理长期、复杂的非线性时间序列数据时，往往力不从心，尤其在面对非线性动态系统和不断积累的预测误差时，导致预测精度大幅下降。
为了解决这个问题，来自华东师范大学研究团队提出了VAE，一个融合了 Koopman 理论和卡尔曼滤波（Kalman Filter）的优势的变分自编码器（VAE）的生成式模型。该文章已中稿ICML 2025 Oral。
我整理了ICML 2025 时间序列相关论文合集+源码，感兴趣的 d d 我~
背景
概率时间序列预测任务根据预测时长可分为短期和长期预测。大多数现有方法在短期预测上表现出色，但随着预测时间范围的延长，时间序列固有的非线性特性开始 “作祟”。这些非线性因素，如同错综复杂的藤蔓，使得概率模型难以清晰地描绘出状态转换的过程，也让模型内的不确定性难以量化，预测结果的准确性大打折扣。
此外，如图1，随着预测时间范围的拓展，目标分布变得更加复杂多变，这使得诸如扩散模型或基于流的模型等生成式模型，在寻找清晰的概率转换路径时面临巨大困难，导致迭代过程效率低下，计算成本居高不下。
图1 3种概率预测模型（GRU MAF/TimeGard/CSDI）随着预测长度增长，CRPS指标越来越差，远不如确定性预测模型（FITS/PatchTST/iTransformer）
如何赋能概率预测模型捕捉长期时序非线性，成为当前概率时间序列预测领域亟待解决的问题。
VAE
为攻克这些难题，VAE 应运而生，它是一种基于变分自编码器（VAE）的生成式模型，专门用于解决长期概率时间序列预测问题。它主要由输入标记嵌入（Input Token Embedding）、KoopmanNet、KalmanNet 和解码器（Decoder）四个部分组成。其整体框架如图3所示。
图3 VAE 框架图
标记嵌入
输入标记嵌入模块首先将时间序列数据划分为多个非重叠的片段（patches）。具体而言，对于给定的时间序列，将其划分为的非重叠片段，通过一个线性投影矩阵将这些片段映射到高维隐藏空间。
编码器——KoopmanNet 非线性到线性的转换
KoopmanNet 的核心任务是利用 Koopman 理论将非线性时间序列转换为线性动态系统。具体步骤为——
测量函数构建：KoopmanNet 使用一个多层感知机（MLP）网络作为测量函数，将嵌入后的片段投影到测量空间，得到投影后的片段
Koopman 算子拟合：利用扩展动态模态分解（eDMD）技术，在测量空间中拟合局部 Koopman 算子 。具体来说，将测量空间中的片段分为前一部分 和后一部分 ，矩阵乘法得到此外，还引入一个全局可学习的部分 ，以捕捉全局共享动态并增强模型的鲁棒性。最终的 Koopman 算子 公式如下：
线性系统构建：通过 Koopman 算子 ，对初始片段进行迭代操作，生成重建上下文 和预测范围 。这一过程构建了一个带偏置的线性动态系统，为后续的不确定性建模提供基础。
编码器——KalmanNet 不确定性建模与误差校正
KalmanNet 的设计灵感来源于卡尔曼滤波，旨在对线性动态系统中的过程不确定性进行建模和精细化调整。其主要流程为——
1. 非线性残差整合：
通过一个基于编码器 - 仅变换器（Encoder-Only Vanilla Transformer）的积分器，将非线性残差 整合为控制输入
2. 过程模型与观测模型构建：
过程模型：描述状态转移过程，其中 A 是状态转移矩阵，B 是控制输入矩阵，~ 是过程噪声，其协方差矩阵为 Q，公式为
观测模型：将预测结果 作为先验观测，其中，其中 是观测矩阵， 是观测噪声，其协方差矩阵为 ，公式为
3. 预测与更新步骤：进行迭代的预测和更新操作。
预测步骤：计算预测状态 和预测协方差矩阵 ，公式分别为
更新步骤：通过卡尔曼增益 来更新状态和协方差矩阵，公式为如下。卡尔曼增益用于衡量观测信息与预测信息之间的权重，从而对系统进行校正。
4. 残差连接：
通过残差连接，将积分器的非线性信息融入最终预测结果中，同时在训练过程中逐渐减少对积分器的依赖，使测量空间的拓扑结构收敛到线性动态系统。
解码器——VAE架构
VAE 采用 VAE 架构，其作用是将从变分分布 中采样的样本映射回原始数据空间，并构建预测范围内的目标分布 。
技术上，在之前已经得到不确定性建模和协方差矩阵后，VAE的变分公式为：
训练过程中，会进行重参数化采样，从而梯度传播。解码器会将样本映射回原始空间，解码器由两个与Koopman编码器的逆向的MLP结构组成，从而建模目标分布 。
实验分析
主实验
在 8 个短期预测数据集和 9 个长期预测数据集上对 VAE 进行了广泛的实验评估，其在短期和长期预测场景中均展现出卓越的性能。
图4 短期预测结果图5 长期预测结果
效率分析
VAE 在模型效率方面同样表现出色。在 Electricity-L 数据集上，VAE 在保持最低 GPU 内存占用和最快推理速度的同时，实现了最佳的预测性能。
图6 推理速度和CRPS指标对比
结论
VAE 的出现，为时间序列预测领域带来了一场革新。它巧妙地将 Koopman 理论与卡尔曼滤波相结合，在 VAE 架构下，成功地解决了长期概率时间序列预测中的非线性难题和误差积累问题，以卓越的预测性能和高效的模型效率，在多个领域的实际应用中展现出巨大的潜力。