时序预训练和多变量时序论文间读
目录
1 Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency (NIPS 2022)
2 Cross Reconstruction Transformer for Self-Supervised Time Series Representation Learning (arXiv 2022.05)
3 Utilizing Expert Features for Contrastive Learning of Time-Series Representations (ICML 2022)
4 Graph-Guided Network for Irregularly Sampled Multivariate Time Series (ICLR 2022)
5 Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting (NIPS 2020)
1 Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency (NIPS 2022)
动机
不同于图像和文本数据，时间序列数据具备复杂的动态特性、长短期时序依赖关系，导致预训练的目标领域数据存在潜在不匹配的问题。与此同时，经过域自适应方法能够缓解上述问题，但是大多数已有方法难以直接寻找到适合目标领域数据的泛化示例，从而导致最终的下游任务性能次优。
贡献
为了使得预训练的模型适应不同时间动态的目标域，且在训练前无法看到任何目标域示例，本文基于时频一致性假设，提出了一种自监督时频对比学习预训练模型。
2 Cross Reconstruction Transformer for Self-Supervised Time Series Representation Learning (arXiv 2022.05)
代码：暂无
动机
时间序列的无监督/自监督表示学习在现实复杂场景中具备重要的研究意义，因为标注样本通常是难以获取。现有方法主要采用对比学习框架，自动选择相似和不相似的数据对进行学习。然后，受限于构造样本对的先验知识，模型学习的特征表示难以避免不稳定性出现。
此外，目前很少有研究关注时间和频率的关系在时间序列表示学习中的建模。
贡献
本文旨在从新的角度学习时间序列的表示，提出了交叉重构变压器(Cross Reconstruction Transformer, CRT)进行时间序列的表示学习。CRT通过跨域交叉重构任务实现时间序列表示学习。具体来说，我们将时间序列从时域转换到频域，并在时域和频域随机删除(Drop)某些片段进行重构建模。
与裁剪(Crop)和掩蔽(Mask)相比，删除(Drop)可以最大限度地保留全局上下文。然后利用变压器架构，通过重构时域和频域信息的数据，充分捕获时域和光谱信息之间的跨域相关性，称为Dropped时域-光谱建模。
3 Utilizing Expert Features for Contrastive Learning of Time-Series Representations (ICML 2022)
动机
对比学习通过最小化正样本对不同增强视图的距离，来学习鲁棒性的特征表示。然而，单纯地依靠不同视图不能很好地表示原始时间序列。
此外，时间序列数据通常来源于工业或者医学领域，领域专家可以提供特定的专家知识来辅助时间序列数据的建模和分析。
贡献
本文提出了一种结合专家知识的时间序列表示学习方法。特别地，作者们采用专家特征替换原始的数据增强策略，来选取用于对比学习的正样本对和负样本对。
上述专家特征来源于已有的领域专家知识。此外，作者理论表明仅在单个下游任务中表现出色并不一定导致表示具有所需的特性，例如进行异常检测或者时序预测等。具体地，作者们引入了一种新的损失函数，它能够利用连续的专家特征来学习数据的有用表示。
4 Graph-Guided Network for Irregularly Sampled Multivariate Time Series (ICLR 2022)
动机
在许多领域(包括医疗保健、生物学和气候科学)，时间序列的采样是不规则的，即连续读数在不同时间点观察到的变量之间的时间间隔不同。
然而，缺失填补(imputation)方法可能扭曲原始序列基础分布，导致不必要的分布偏移。
贡献
本文受到雨滴下落现象的启发，提出了一种基于图神经网络的不规则时间序列分类模型。具体地，作者们将每个样本表示为一个单独的传感器图，并使用一种新的消息传递算子对传感器之间的依赖性进行建模。它估计潜在的传感器图结构，并利用该结构与附近的观测结果一起预测因不规则采样的缺失数值。
5 Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting (NIPS 2020)
动机
时间序列预测在实际应用中至关重要，并且是一个具备挑战性的难题。多变量时序预测一般需要同时考虑序列内和序列间的相关性关系。然而，现有的工作大部分只考虑到了时域的时序依赖相关性，从而去建模序列间的关系。
贡献
本文提出了谱时间图神经网络(StemGNN)来进一步提高多变量时间序列预测的准确性。在谱域中，StemGNN共同捕获了序列间的相关性和序列内的相关性。
StemGNN在一个端到端框架中，结合了图形傅里叶变换(GFT)模型之间的相关性和离散傅里叶变换(DFT)模型的时间依赖性。经过GFT和DFT，频谱表示具有清晰的模式，可以通过卷积和顺序学习模块进行多变量时间序列数据预测建模。
