时序分类、预测和预训练相关最新论文间读
目录
1 Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification (ICLR 2022)
2 FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes (ICLR 2022)
3 CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting (ICLR 2022)
4 Iterative Bilinear Temporal-Spectral Fusion for Unsupervised Representation Learning in Time Series (ICML 2022)
5 Towards Similarity-Aware Time-Series Classification (SDM 2022)
1 Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification (ICLR 2022)
动机：
时间序列数据是按时间或其他有意义的序列(如频率)排序的一系列数据点。其中最具挑战性的难题就砸与如何选取合适的时间窗口尺度（或者说是一个时间序列子片段）进行特征提取。传统的机器学习方法在获取重要时间尺度上付出了巨大的努力，随着TS长度的增加，计算资源消耗呈指数增长，例如Shapelet。卷积神经网络能够有效捕获输入数据的局部辨别性特征，其中感受野(Receptive Field， RF)的大小一直是影响一维卷积神经网络（1D-CNNs）在时间序列分类任务中的应用的最重要因素之一。
虽然许多研究人员已经寻找了用于TSC的1D-CNNs的最佳RF，但对于
1) 什么尺寸的RF是最好的?仍然没有一致的答案。
2) 应该使用多少种不同的射频?对于特定的数据集，模型需要配备不同的大小和不同数量的RF。
贡献：
为了避免这些复杂和消耗资源的搜索工作，我们提出了全尺度块(OS-block)，通过一个简单而通用的规则，可以覆盖所有尺度的RF ，自动设置1D-CNNs的内核选择。
该规则的灵感来自哥德巴赫猜想，在哥德巴赫猜想中，任何正偶数都可以写成两个素数的和。因此, OS-block使用一组质数作为内核大小，除了最后一层的内核大小是1和2。
这样一来，一个具有这些质数大小核的1D-CNN可以通过这些质数大小核的不同组合对TS进行变换，从而覆盖所有尺度的RF。更重要的是, OS-block通过根据TS的长度选择最大素数来实现对各种TS数据集的处理。
2 FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes (ICLR 2022)
动机
在设计卷积神经网络(Convolutional Neural Networks, CNNs)时，必须在训练前选择卷积核的大小。最近的工作表明，cnn受益于不同层的不同内核大小，但探索所有可能的组合在实践中是不可行的。更有效的方法是在训练期间学习内核大小。然而，现有的了解内核大小的工作有一个有限的带宽。这些方法通过膨胀来缩放核，因此它们所能捕捉的细节是有限的。
贡献
在这项工作中，我们提出了一种新的卷积运算FlexConv，它可以在固定的参数代价下学习核大小可学习的高带宽卷积核。FlexNets无需使用池化就能实现长期依赖关系建模，在多个序列数据集上实现了最先进的性能，在学习了内核大小的情况下超过了最近的工作，并在图像基准数据集上与深度更大的ResNets具备同等竞争力。
此外, FlexNets的部署分辨率可以比在训练中看到的更高。为了避免混叠，我们提出了一种新的核参数化方法，用它可以解析地控制核的频率。我们的新核参数化方法比现有的参数化方法具有更高的描述能力和更快的收敛速度。
3 CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting (ICLR 2022)
动机
深度学习在时间序列预测方面已经得到了积极的研究，主流的范式是基于神经网络体系结构的端到端训练，从经典的LSTM/ RNNs到最新的TCNs和Transforms。
出于近期表示学习在计算机视觉和自然语言处理中的成功应用,我们认为时间序列预测更有前途的范式,是先学习特性表征,紧随其后的是一个简单的回归微调步骤——我们因果关系的角度证明了这种范式。
贡献
我们提出了一种新的长序列时间序列表示学习框架CoST，该框架采用对比学习方法学习解纠缠(disentangled) 的季节趋势表示。 CoST包括时域和频域的对比损失，分别用来学习判别趋势和季节表征。在真实数据集上的大量实验表明，CoST始终在相当大的范围内优于最先进的方法，在多元基准测试中实现了21.3%的MSE改进。
4 Iterative Bilinear Temporal-Spectral Fusion for Unsupervised Representation Learning in Time Series (ICML 2022)
代码：暂无。
动机
多元时间序列的无监督表示学习具有重要的现实意义，但由于其动态过程的复杂性和注解的稀疏性，也是一个具有挑战性的问题。现有的研究主要采用对比学习的框架，利用数据增强技术对句式和否定句进行对比训练。然而，他们对表征学习框架的设计存在两个缺陷。
首先，我们回顾了已有的时间序列增广方法，发现它们大多使用由时间切片衍生的分段级增广方法，这种方法可能会由于失去全局上下文而导致抽样偏差和错误的优化和假阴性。二是它们都不重视在特征表示中纳入频域信息和时间-频域关系。
贡献
在本文中，我们提出一个统一的框架，即双线性时间谱融合(BTSF)。具体来说，我们首先利用实例级扩展，在整个时间序列上进行简单的dropout，以最大限度地捕获长期依赖项。我们设计了一种新颖的迭代双线性时间谱融合方法来显式编码丰富的时频对的亲和力，并以融合挤压的方式迭代地细化表示S2T (Spectrum-to-Time)和Time-to-Spectrum(t2)聚合模块。
5 Towards Similarity-Aware Time-Series Classification (SDM 2022)
动机
时间序列分类（TSC）之前的工作主要从两个方向来解决TSC:(1)基于相似性的方法，基于最近邻居对时间序列进行分类，(2)深度学习模型，直接学习数据驱动方式的分类表示。
在这两条研究线的不同工作机制的推动下，我们的目标是将它们联系起来，共同建模时间序列相似性并学习表征。这是一项具有挑战性的任务，因为我们不清楚如何有效地利用相似性信息。
贡献
时间序列分类（TSC）之前的工作主要从两个方向来解决TSC:(1)基于相似性的方法，基于最近邻居对时间序列进行分类，(2)深度学习模型，直接学习数据驱动方式的分类表示。
在这两条研究线的不同工作机制的推动下，我们的目标是将它们联系起来，共同建模时间序列相似性并学习表征。这是一项具有挑战性的任务，因为我们不清楚如何有效地利用相似性信息。
