北大林宙辰团队综述：十年时序预测进展如何用自相关建模串起来

过去十年间，时序预测在金融、能源、制造等行业落地越来越多，扩散模型与时序基础模型也接连出现。应用端的需求和方法端的创新一起把这个方向推得很快。北大林宙辰团队就此发布了一篇综述论文，对近十年该领域的研究进展做了系统回顾。

论文以统一的"自相关建模"为主线，把相关方法的演进脉络梳理了一遍，这也是它的特色所在。梳理范围既包括骨干架构，也把以往综述较少讨论的损失函数纳入进来系统讨论。文章认为，不少看上去彼此分散的设计，其实都能理解为对自相关的不同处理方式——扩大感受野、简化自相关结构、消除隐含的独立性假设。对每一类方法，文章先给出最小实现，再在此基础上介绍后续改进，读者既能溯源文献，也能读懂改进的动机和发展过程。

• 论文标题：Deep Time-Series Forecasting in 10 Years: A Survey

• 论文链接：https://arxiv.org/abs/2603.19899

• 发表链接：https://ieeexplore.ieee.org/document/11731513

• Github 仓库： https://github.com/Master-PLC/Awesome-TSF-Papers

一、自相关建模是时序预测的关键

时间序列里，同一变量在不同时刻的观测值通常彼此关联，今天的气温往往和昨天的气温有关，正是这种自相关特性让它有别于一般的表格数据。如图 1 所示，不同的时间序列形态，对应的自相关结构也不一样。能不能有效建模这种自相关结构，直接关系到时序预测的效果。

统计建模阶段，ARIMA 等经典方法已经用滞后项把自相关显式建模出来。到了深度学习阶段，难题依然在：自相关既藏在作为输入的历史序列里，也藏在作为监督信号的未来序列里。文章正是从自相关入手，梳理出时序预测的两个关键问题：

1. 骨干架构该怎么设计，才能把输入序列里的自相关刻画出来？损失函数又该怎么设计，才能对标签序列中的自相关建模？这两个问题，构成了全文梳理的两条主线。

图 1 给出的是常见时间序列形态与对应的自相关函数：趋势序列一般呈现较强的正相关，周期序列的相关性会随滞后正负交替，季节性序列则常在季节周期的整数倍处冒出显著峰值。

二、按自相关建模划分的方法谱系

上图画出了全文的文献分类框架。第一层是骨干架构和损失函数两条主线，正好对应前面那两个关键问题；第二层再按具体建模思路往下细分。两条主线在篇幅上大致相当，都以自相关建模为核心，只是关注对象不一样：骨干架构盯的是输入序列（X），损失函数盯的是标签序列（Y）。有了这个框架，后文梳理两类方法的演进脉络就有了统一参照。

三、骨干架构这条线：

对输入序列中的自相关建模

传统预测模型这块，综述先做了回顾。

RNN 早先是时序建模的头号选择，隐状态随时间递归更新，天生贴合自相关。问题也出在这套机制上：状态更新要看前一步的结果，沿时间维度并行计算就很难做；隐状态维度有限，历史信息得不断压缩，远距离依赖也就难以稳定留住。近些年 Mamba 等选择性状态空间模型引起关注，同样可以从这两点来看——并行扫描让长序列处理更快，HiPPO 升级了记忆单元，理论上做到无损记忆。

CNN 起家于图像处理，搬到时间序列上，一维卷积靠聚合相邻时刻的信息来刻画局部自相关。可标准卷积单层感受野有限，怎么抓到更长跨度的历史，成了后续方法盯住的问题。有的方法在时域把有效感受野撑大，比如膨胀卷积、大核可分离卷积，计算开销压住的同时覆盖范围变大；另一类走频域滤波拿输入数据的表征，FiLM、FilterNet 都是例子。道理在于卷积定理：频域滤波等价于全感受野的时域卷积。

DLinear 证明简单线性模型也能打，部分基准任务上的表现和复杂模型不相上下。不过线性映射刻画非线性、非平稳、多周期交织的自相关，力道不够。后续工作大体朝两个方向走：一是变换数据、降低建模难度，DLinear 用分解把不同成分区分开再分别处理，RLinear 靠归一化缓解分布变化；二是把模型表达能力做强，TiDE 和 TSMixer 引入 MLP 建模非线性，TimeMixer 再通过多尺度建模往上加。

图 4：代表性 Transformer 架构概述，圆形节点代表模型输入和输出，彩色块表示使 Transformer 适应时间序列预测的主要修改。

综述接着梳理基于 Transformer 的预测模型。Transformer 用自注意力建模自相关，可拿单个时间点的观测直接当输入，时序语义往往表征不出来。单个气温数值能说明的东西有限，得结合相邻时刻的变化，才判断得出是升温趋势还是短期异常。Tokenizer 就是冲着这个来的：把连续时间步组织成一个 token，模型先拿到局部上下文，再学片段之间的长期依赖。这个设计后来几乎成了 Transformer 时序模型的标配。

再往前一步，研究者开始琢磨：LLM 那套强大的序列建模能力，能不能拿来建模时序自相关？前提是把输入序列的表征和 LLM 的输入表征对齐。综述归纳出四种对齐范式：查询范式把时序信息转写成文本提示，直接用大语言模型预测，效果受数值信息表达能力限制；重编程范式把时序片段映射到词嵌入空间，不用微调 LLM 就能适配；微调范式只更新少量参数，让预训练模型适应时序数据；预训练范式拿大规模时序数据直接训练专用基础模型，Timer-XL、Chronos 等就在其列，零样本预测能力已经显现。

四、损失函数谱系：

建模标签序列中的自相关

损失函数，现有综述大多当成实现细节，一笔带过。这篇综述不这么看：它决定模型训练中的优化方向，值得单独拿出来说。时序预测里这个问题尤其扎眼——未来各时刻不是彼此孤立的，损失函数能不能有效建模标签序列的自相关，是一道重要关卡。拿均方误差（MSE）来说，它逐点算误差再汇总；从概率角度解释，若再假设各预测步的误差相互独立，最小化 MSE 就等于最大化似然。可标签序列一旦有自相关，独立假设就站不住了，MSE 相对真实似然函数成了有偏的损失。所以，在损失函数里建模标签序列的自相关，是时序预测的一个特色问题。现有方法围绕它可归为四类。

第一类方法还是拿似然函数当损失，只是力求把它构造准，具体分两条路。一条是标签变换：MSE 隐含标签解相关的假设，那就先把标签变到解相关空间，再在上面算损失。代表方法有 FreDF 的离散傅里叶变换和 Time-o1 的主成分白化，两者都保证所得标签分量去相关，MSE 的去相关假设也就更贴近真实。另一条是协方差建模：不变换标签，而是显式估计标签的条件协方差矩阵，再拿它算完整的负对数似然当训练目标，QDF 就是借助元学习来获取条件协方差矩阵。

第二类思路是围绕形状对齐来设计损失。它假定自相关藏在标签序列的波形里，所以损失函数该盯的是“预测波形和真实波形像不像”，而不是逐点误差大小。DTW 是衡量波形差异的经典手段，可它本身不可微，没法直接拿来做梯度优化；SoftDTW 对 DTW 做了软松弛，让它处处可微，端到端训练这才行得通。需要相位不变性的场景里，这类损失格外管用：拿心电信号来说，预测整体滞后半拍、但波形形状对得上，价值仍远高于形状失真的预测。

第三类思路是围绕分布对齐来设计损失。其核心想法是：自相关体现在标签序列的条件分布中，只要把预测序列与标签序列的条件分布拉近，就能把标签自相关写进训练目标。这类方法的关键，在于怎么构造概率分布距离，现有做法分两种：一种直接拿现成的分布距离当损失，比如 DistDF 用沃瑟斯坦距离、KMB-DF 用 MMD 距离；另一种借对抗学习的思路，让判别器自己去学分布距离——训练到判别器分不清预测序列和标签序列，分布也就对齐了。

第四类思路是围绕条件生成来设计损失。这类方法不再直接回归未来值，而是把预测当成生成任务，靠生成模型的推理机制来建模自相关。具体走两条路：一条是以 CSDI 为代表的扩散生成，一步步去噪生成未来序列；另一条是以 DeepAR 为代表的自回归生成，每一步生成都依赖先前的输出，未来由此被显式拆成链式依赖。条件生成范式的核心优势，是它从根上避开了自相关偏差——生成过程本身就假定了序列依赖结构，不用像 MSE 那样引入独立性假设。

五、自相关建模还有哪些路要走

从上面的梳理能看出，自相关建模贯穿了时序预测研究，是条主线，大量方法的提出和改进都绕不开它。顺着这条线，本文从四个方面谈了未来的研究空间，这里先说其中两个。

第一，怎么对付真实场景里的自相关建模难题。真实时序数据里，测量噪声、分布漂移、观测缺失几乎躲不掉。噪声这块，可以试试面向连续标签的去噪学习；分布漂移则能引入域适应、域泛化和测试时适应等手段，既对分布变化作出响应，又保持鲁棒。观测缺失的常规做法是先补全再预测，问题在于补全误差会扭曲时间结构，预测质量跟着受影响。所以，直接拿不完整的观测去预测，以及多采样率数据的融合，都值得往下做。

第二，把自相关建模的办法搬到变量依赖建模上。多变量预测里，变量之间、通道之间的相关性同样左右预测效果。自相关建模用到的绝大部分方法，像自注意力、标签变换，都能直接扩展到变量维度；真正难的是设计出能同时刻画自相关和变量依赖的网络架构与损失函数，这块研究空间还很足。

结语

这几年预测模型发展很快，新方法一个接一个冒出来。本文想借自相关建模这个统一视角，回答两个彼此关联的问题：深度时序预测的核心挑战到底是什么？现有方法又是怎么应对的？自相关已经不只是统计学教科书里的抽象术语，在深度学习时代，它是设计预测方法时必须建模的重要对象。不管是把架构设计得更好，还是把损失函数构造得更合理，都绕不开同一个问题：我们对时间序列内在依赖结构的理解和建模，是不是更到位了？对自相关的理解与建模，始终是这个领域的特色与核心问题。

作者团队

论文通讯作者为北京大学李昊轩、林宙辰（IEEE Fellow）教授，合作方包括南加州大学、浙江大学、牛津大学、墨尔本大学、松鼠 AI、小红书等机构。本工作获得北京市科学技术委员会、中关村科技园区管理委员会的大力支持，在此谨致谢意。