TimeKAN：基于频率分解学习架构的时序预测方法

KAN-BASED FREQUENCY DECOMPOSITION LEARNING ARCHITECTURE FOR LONG-TERM TIME SERIES FORECASTING

发表会议：ICLR 2025

paper：https://openreview.net/pdf?id=wTLc79YNbh

代码地址：https://github.com/huangst21/TimeKAN

动机：任何现实世界中的时间序列常常包含多个相互交织的频率成分，这使得准确的时间序列预测变得具有挑战性。受Kolmogorov-Arnold网络（KAN）的启发，将混合的频率成分分解为多个单一频率成分进行表达。由此作者提出了一种基于KAN的频率分解学习架构（TimeKAN），主要由三个组件构成：级联频率分解（CFD）块、多阶KAN表示学习（M-KAN）块和频率混合块。

Kolmogorov-Arnold Networks是一种受科尔莫戈洛夫 - 阿诺尔德定理启发的神经网络，核心思想可以用一句话概括：“任何复杂的多变量函数，都能拆成一堆简单的单变量函数的组合”。

challenges：

• 一是怎么分解？（原有方法：趋势-季节分解【DLinear】、多尺度分解【SCINet：序列下采样】和多周期分解【TimeMixer】）

• 二是如何建模不同频率成分？（TimesNet和PDF利用傅里叶周期分析，根据计算出的周期将序列解耦为多个子周期序列。）

highlights：

• 一种频率分解框架，将时间序列中的不同频率成分解耦，并独立学习与每个频率相关的时序模式。

• 不同频率下的模式信息密度不同，采用统一的建模方法对不同频率成分进行建模可能导致表征不准确，从而导致结果欠佳。基于KAN的M-KAN块，用于学习和表示每个频带内的特定模式。

• 形成一种新颖的分解-学习-混合架构，从多频率角度审视时间序列，以准确建模时间序列中的复杂模式。

1. 多级序列

将原始时间序列X的频率范围划分为预定义的k个频带。使用移动平均线逐步去除相对高频的分量，生成多层次序列，然后每个序列通过Linear层独立嵌入到更高的维度中。

这里xi表示第i级序列，x1为原始输入序列

2. 频率加强

   1. 级联频率分解模块，以串级的方式精确分解各个频率分量（分解为高频、中频、低频成分），获得每个频率分量的表示形式。

   频率上采样，对 x i+1进行 FFT（快速傅里叶变换）获得频域表示，之后通过Zero-Padding来扩展频域序列的长度，使其变换回时域后与上序列xi具有相同的长度。然后使用快速反傅立叶变换(IFFT)将其转换回时域，输出多层次频率分量 ；此处只有第一层的x1是无损序列

   

   

   6. 多阶 KAN 表示学习模块，作用对不同频率成分进行特征提取，并捕捉时间依赖关系：输入：

      1. 深度卷积：侧重于序列维度的依赖建模

      

      这里group数量与嵌入维度相匹配。使用D组卷积核对每个通道的序列进行独立的卷积操作。专注于捕捉时序模式，排除通道间关系干扰。

      4. 多阶KAN：采用ChebyshevKAN，针对不同频率分量进行特定表示学习。由切比雪夫多项式的线性组合构造而成。即利用不同阶次的切比雪夫多项式的线性组合生成可学习的单变量函数。ChebyshevKAN允许调整切比雪夫多项式n的最高阶，以增强其表示能力。

      

      应用于通道维度的 1 层 ChebyshevKAN 可以表示为：

      

      

      这里n为多项式阶数，D为通道维度，o为输出层索引。其中高频成分由高阶 ChebyshevKAN（切比雪夫多项式阶数较高）处理短期波动，低频成分由低阶 ChebyshevKAN（阶数较低）捕捉长期趋势，中间频段则采用适配的中阶 KAN。最终，各频段经 KAN 处理后的特征与深度卷积输出相加形成频率特定的增强表示。

      将这一组具有不同最高切比雪夫多项式阶数的 KAN 称为多阶 KAN。假设阶数的最低下限为b：

      

      12. 组合：将多阶KAN和深度卷积融合作为第i个尺度的结果：

      

   7. 频域混合

   上述从频率分解到混合的过程会重复L次，最终经过线性层输出结果

使用第一层无损尺度作为预测结果

3. 实验

• 消融

  • 上采样方法：(1) 线性映射；(2) 线性插值；(3) 转置卷积

  • 多阶 KAN ：(1) MLPs，这意味着使用 MLP 替换每个 KAN；(2) 固定低阶 KAN，这意味着在每个频率级别使用阶数为 2 的 KAN；(3) 固定高阶 KAN，这意味着在每个频率级别使用阶数为 5 的 KAN

  

  • 深度卷积的有效性：(1) 无深度卷积；(2) 标准卷积；(3) 多头自注意力