时序预测：解决虚假回归和低秩性问题的方法

TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting | OpenReview

发表会议：ICLR 2025

paper：TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting | OpenReview

代码地址：https://github.com/Hank0626/TimeBridge

团队：清华大学、深圳大学

highlights：提出了一种TimeBridge新框架，旨在解决多变量时间序列预测中非平稳性带来的挑战。非平稳性（如短期波动和长期趋势）可能导致虚假回归或掩盖重要的长期关系。现有方法通常要么完全消除非平稳性，要么完全保留，未能有效区分其对短期和长期建模的不同影响。

虚假回归（Spurious Regression）是指在统计分析中，两个或多个非平稳时间序列之间看似存在显著的统计关系，但实际上这种关系是虚假的，仅仅是因为这些序列具有共同的趋势或随机性，而非真正的因果关系。这种现象会导致错误的结论，例如误认为两个无关的变量之间存在相关性。

现状方法

归一化（平稳+非平稳） + 依赖建模（变量独立+变量交互）

TimeBridge 的核心思想是通过将输入序列分割为小块（patches），分别处理短期和长期依赖关系：

1、Integrated Attention：用于缓解短期非平稳性，捕捉每个变量内部的稳定依赖关系。

2、Cointegrated Attention：保留非平稳性，建模变量之间的长期协整关系。

方法

模型概览图：

• Patch Embedding：将输入序列分割成不重叠的Patch ，并将每个Patch 转换为Patch Token：将Patch Token标记 为P ∈ R_C×N×D，代表 C 个变量包含 N 个片段。

• Integrated Attention：专注于去除短期时间序列中的非平稳性。该模块通过对 patch token 应用注意力机制，捕捉相邻时间步之间的关系，减少了短期建模中的虚假回归现象。单整注意力模块聚焦于每个变量的局部动态，确保模型能够准确捕捉短期波动的特性，提升了对局部变化的敏感度和预测鲁棒性。

首先：对一个变量中的所有patch应用patch-wise归一化，Pc,: 表示为单个变量内所有patch的集合:

然后，采用注意力机制来捕获同一变量内的时间依赖关系：

• Patch Downsampling：聚合全局信息并减少Patch的数量，以在每个Patch中封装更丰富的长期特征;通过对 patch token 进行降采样，将短期信息聚合成更长时间跨度的特征表示，减少了 patch 数量，从而降低了计算复杂度。

通过在注意力机制中使用降采样后的patchs作为Q，原始patch作为K和V，利用注意力机制的长距离建模能力来动态聚合全局信息。这使得每个片段能够封装更丰富的长期信息，从而有可能捕捉到仅在足够长的时间范围内才会出现的复杂协整关系。

• Cointegrated Attention：保留了序列的非平稳特征，并在同一时间窗口内对不同变量之间的长期协整关系进行建模。

P:,n 表示所有变量在同一时间位置的patch。

这种注意力机制不仅捕捉了变量之间的全局协整关系，还自适应性地评估这些关系的强度：更强的协整关系通过更高的注意力权重反映出来，而较弱的连接则获得较低的权重。

实验

Full results：

FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting

发表会议：IJCAI 2025

paper：https://arxiv.org/pdf/2501.13989

团队：北京大学、清华大学

highlights：定义了一种基于频域的transformer增强架构，在注意力模块引入了一个可学习矩阵，解决低秩性问题

• 针对输入的序列，先对其进行频域转化；

• 频域attention：实部和虚部分别进行transformer后，在逆变换至时域，并将时间和特征维度进行flatten拉平操作后，经过linear直接输出预测值

• 注意力机制增强：通过在相似性权重矩阵处，引入一个相同大小的可学习矩阵，解决由于频域引起的低秩性问题

实验