基于频域滤波学习方面的时序预测论文

背景信息

时域(Time domain) ：分析信号参数随时间变化过程。时域是信号在时间轴随时间变化的总体概括。在时域中，将信号的所有频率分量相加并显示。

频域(Frequency domain)：分析信号包含的频率成分。各频率分量的频率和功率参数。在频域中，复数信号（即，由一个以上频率组成的信号）被分离成它们的频率分量，并显示每个频率的电平。

转换方法：

常用思想：高频分量为信号噪声/周期，低频分量为信号趋势

title: FredNormer: Frequency Domain Normalization for Non-stationary Time Series Forecasting

highlights：一种正则化方法。提出了一种新的频率稳定性测量方法，定义为频谱中的各频率成分的统计稳定性。旨在通过频域建模来解决时间序列预测中的分布偏移问题。引入了频率稳定性加权层，通过可训练的线性投影自适应地调整频谱中的关键频率分量，增强模型的泛化能力。插件式模块，便于应用。

该方法主要包含两个关键组件:

FredNormer首先定义了一个频率稳定性度量,用于量化每个频率分量在训练集中（batch维度）的统计显著性:

S(k) = μ(A(k)) / σ(A(k))

其中,μ(A(k))和σ(A(k))分别表示第k个频率分量幅度的均值和标准差。这个度量具有以下特点:

这一层的主要功能是根据稳定性动态调整频率分量的权重。具体步骤如下:

相对backbone的提升幅度：

对比其他归一化方法：

title：MMFNET: MULTI-SCALE FREQUENCY MASKING NEURAL NETWORK FOR MULTIVARIATE TIME SERIES FORECASTING

code：暂未公开

highlights：

背景

方法

MMFNet通过在多个尺度上分割时间序列，在频域中捕获精细、中等和粗颗粒模式。在每个尺度上，MMFNet 都采用可学习掩码，根据频谱特性自适应地过滤掉不相关的频率分量。

Fragmentation: 将时间序列数据分解为不同长度的段，以捕获多个比例的特征：将归一化后的输入序列 X 分为三组片段：精细片段、中尺度片段和粗尺度片段。精细分段（Xf ine）由较短的分段组成，这些分段捕获时间序列的详细高频分量，从而能够检测在较长分段中可能遗漏的复杂模式和异常。中级段（Xintermediate）长度适中，旨在捕捉中级形态和趋势，在精细段和粗段之间取得平衡。粗略尺度区段（Xcoarse）由较长的区段组成，这些区段捕获数据中更广泛的低频趋势和总体模式。这种多尺度碎片化使模型能够有效地捕获和利用不同时间尺度的模式。
频域提取将多尺度时域段转换为相应的频率分量，以捕获各种时间尺度上的频率模式。对于每个分段，应用 DCT 来提取频域表示。

这种转换使 MMFNet 能够在频域中捕获和分析多个时间尺度的模式，从而增强其识别和解释时间序列数据中复杂模式的能力。

离散余弦变换（DCT）vs 离散傅里叶变换（DFT）

传统掩码使用预定义截止频率的固定低通滤波器来过滤频率分量。因为这些方法假设某些频率在整个时间序列中普遍重要或不相关，这一假设可能不适用于频率分量相关性随时间变化的非平稳数据。且这种过度过滤的方式会导致关键细节丢失，从而导致过度简化的表示和模型在预测和信号分析等任务中的性能下降。
自适应掩码

给定频率段 XDCT ，生成一个可学习掩码来自适应地过滤频率分量。根据不同频率分量与任务的相关性来调整它们的重要性。MMFNet 采用自适应屏蔽技术来捕获频域中的动态行为。
掩码重建掩蔽的频段 Xmask DCT 通过线性层转换为预测的频域段 Xpred DCT。此线性转换将筛选后的频率分量映射到与模型的预测目标一致的目标频率表示。具体来说，将完全连接（密集）层应用于掩蔽频率分量，此作可以表示为：