基于LSTM自编码器与KMeans聚类的时间序列无监督异常检测方法
时间序列异常检测是金融监控、网络安全防护、工业制造控制以及物联网系统监测等领域的核心技术问题。本文研究了一种结合深度学习LSTM自编码器与KMeans聚类算法的无监督异常检测方法,该方法首先利用LSTM自编码器学习序列数据的潜在表示,然后在潜在空间中应用KMeans聚类实现异常模式的自动识别。
本文基于Numenta异常基准(NAB)数据集进行实验验证,该数据集是时间序列异常检测领域的标准评估基准,包含多种真实场景的时间序列数据。
数据集介绍
Numenta异常基准(NAB)是一个综合性的时间序列异常检测评估框架,涵盖了工业测量传感器数据、真实网络流量监控数据、在线广告交换系统数据以及合成生成的模拟数据等多个应用领域的时间序列样本。
本文选用NAB数据集中的artificialWithAnomaly子集作为实验数据。该子集包含人工合成的时间序列数据,其中注入了预定义的异常模式,为无监督异常检测算法的有效性验证提供了理想的测试环境。数据集的每条记录由时间戳和对应的数值组成,模拟了实际应用场景中的监测指标变化。
在深入分析核心算法之前,需要明确序列数据的基本概念以及LSTM自编码器在异常检测中的应用原理。
https://avoid.overfit.cn/post/b33aebb6dbf846d6b52ff509d13b6e53