【21年01月DW打卡】Task02 - 异常检测，基于统计学的方法 （基于正态分布、基于多元异常点检测、使用直方图检测异常点、pyod演示HBOS算法）
异常检测——基于统计学的方法
主要内容包括：
- 高斯分布
- 箱线图
小结
- 转换命令: 转换命令 jupyter nbconvert --to markdown E:\PycharmProjects\TianChiProject\00_山枫叶纷飞\competitions\011_dw_AnomalyDetection\02_基于统计学的方法.ipynb
- 教程链接: datawhale github
- 异常检测系列目录:
- 01 异常检测概述
- 02 基于统计学的方法
1、概述
统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。
异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。
2、参数方法
2.1 基于正态分布的一元异常点检测
仅涉及一个属性或变量的数据称为一元数据。我们假定数据由正态分布产生，然后可以由输入数据学习正态分布的参数，并把低概率的点识别为异常点。
假定输入数据集为\(\{x^{(1)}, x^{(2)}, ..., x^{(m)}\}\)，数据集中的样本服从正态分布，即\(x^{(i)}\sim N(\mu, \sigma^2)\)，我们可以根据样本求出参数\(\mu\)和\(\sigma\)。
\(\mu=\frac 1m\sum_{i=1}^m x^{(i)}\)
\(\sigma^2=\frac 1m\sum_{i=1}^m (x^{(i)}-\mu)^2\)
求出参数之后，我们就可以根据概率密度函数计算数据点服从该分布的概率。正态分布的概率密度函数为
\(p(x)=\frac 1{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})\)
如果计算出来的概率低于阈值，就可以认为该数据点为异常点。
阈值是个经验值，可以选择在验证集上使得评估指标值最大（也就是效果最好）的阈值取值作为最终阈值。
例如常用的3sigma原则中，如果数据点超过范围\((\mu-3\sigma, \mu+3\sigma)\)，那么这些点很有可能是异常点。
这个方法还可以用于可视化。箱线图对数据分布做了一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。
用Python画一个简单的箱线图：
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
data = np.random.randn(50000) * 20 + 20
sns.boxplot(data=data)
<matplotlib.axes._subplots.AxesSubplot at 0x21209e74588>
2.2 多元异常点检测
涉及两个或多个属性或变量的数据称为多元数据。许多一元异常点检测方法都可以扩充，用来处理多元数据。其核心思想是把多元异常点检测任务转换成一元异常点检测问题。例如基于正态分布的一元异常点检测扩充到多元情形时，可以求出每一维度的均值和标准差。对于第\(j\)维：
\(\mu_j=\frac 1m\sum_{i=1}^m x_j^{(i)}\)
\(\sigma_j^2=\frac 1m\sum_{i=1}^m (x_j^{(i)}-\mu_j)^2\)
计算概率时的概率密度函数为
\(p(x)=\prod_{j=1}^n p(x_j;\mu_j,\sigma_j^2)=\prod_{j=1}^n\frac 1{\sqrt{2\pi}\sigma_j}exp(-\frac{(x_j-\mu_j)^2}{2\sigma_j^2})\)
这是在各个维度的特征之间相互独立的情况下。如果特征之间有相关性，就要用到多元高斯分布了。
1.3 多个特征相关，且符合多元高斯分布
\(\mu=\frac{1}{m}\sum^m_{i=1}x^{(i)}\)
\(\sum=\frac{1}{m}\sum^m_{i=1}(x^{(i)}-\mu)(x^{(i)}-\mu)^T\)
\(p(x)=\frac{1}{(2 \pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}} \exp \left(-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)\right)\)
3.使用混合参数分布
在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。
3、非参数方法
在异常检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。
例子：使用直方图检测异常点
直方图是一种频繁使用的非参数统计模型，可以用来检测异常点。该过程包括如下两步：
步骤1：构造直方图
使用输入数据（训练数据）构造一个直方图。该直方图可以是一元的，或者多元的（如果输入数据是多维的）。
尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如，用户必须指定直方图的类型（等宽的或等深的）和其他参数（直方图中的箱数或每个箱的大小等）。与参数方法不同，这些参数并不指定数据分布的类型。
步骤2：检测异常点
为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看作正常的，否则被认为是异常点。
对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点得分为该对象落入的箱的容积的倒数。
使用直方图作为异常点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱尺寸太小，则许多正常对象都会落入空的或稀疏的箱中，因而被误识别为异常点。另一方面，如果箱尺寸太大，则异常点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。
4、HBOS
HBOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。
HBOS算法流程：
1.为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法：
-
静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。时间复杂度：\(O(n)\)
-
2.动态宽度直方图：首先对所有值进行排序，然后固定数量的\(\frac{N}{k}\)个连续值装进一个箱里，其 中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过\(\frac{N}{k}\)值。
时间复杂度：\(O(n\times log(n))\)
2.对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：
\( HBOS(p) = \sum_{i=0}^{d} \log \left(\frac {1}{\text {hist}_{i}(p)}\right) \)
推导过程：
假设样本p第 i 个特征的概率密度为\(p_i(p)\) ，则p的概率密度可以计算为：
两边取对数：
\(
\begin{aligned}
\log (P(p)) &=\log \left(P_{1}(p) P_{2}(p) \cdots P_{d}(p)\right) =\sum_{i=1}^{d} \log \left(P_{i}(p)\right)
\end{aligned}
\)
概率密度越大，异常评分越小，为了方便评分，两边乘以“-1”：
\( -\log (P(p))=-1 \sum_{i=1}^{d} \log \left(P_{t}(p)\right)=\sum_{i=1}^{d} \frac{1}{\log \left(P_{i}(p)\right)} \)
最后可得：
\(
H B O S(p)=-\log (P(p))=\sum_{i=1}^{d} \frac{1}{\log \left(P_{i}(p)\right)}
\)
5、总结
1.异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。
2.HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其是在大数据集上。
6、练习
1.使用PyOD库生成toy example并调用HBOS
- pyod的HBOS库，https://pyod.readthedocs.io/en/latest/pyod.models.html#module-pyod.models.hbos
- 主要参数以及说明
Parameters
----------
n_bins : int, optional (default=10) # 分箱数目
The number of bins.
alpha : float in (0, 1), optional (default=0.1)
The regularizer for preventing overflow. # 防止过拟合的正则化器
tol : float in (0, 1), optional (default=0.5)
The parameter to decide the flexibility while dealing # 决定处理落在分箱外的样本时的灵活性的参数
the samples falling outside the bins.
contamination : float in (0., 0.5), optional (default=0.1) # 数据集中异常值的比例。在拟合时用于定义决策函数的阈值。
The amount of contamination of the data set,
i.e. the proportion of outliers in the data set. Used when fitting to
define the threshold on the decision function.
def __init__(self, n_bins=10, alpha=0.1, tol=0.5, contamination=0.1):
super(HBOS, self).__init__(contamination=contamination)
self.n_bins = n_bins
self.alpha = alpha
self.tol = tol
check_parameter(alpha, 0, 1, param_name='alpha')
check_parameter(tol, 0, 1, param_name='tol')
# 导入模型
from __future__ import division
from __future__ import print_function
import os
import sys
from pyod.models.hbos import HBOS
from pyod.utils.data import generate_data
from pyod.utils.data import evaluate_print
from pyod.utils.example import visualize
# 使用生成样本数据pyod.utils.data.generate_data()：
contamination = 0.1 # percentage of outliers
n_train = 200 # number of training points
n_test = 100 # number of testing points
X_train, y_train, X_test, y_test = generate_data(
n_train=n_train, n_test=n_test, contamination=contamination)
# 初始化pyod.models.knn.KNN检测器，拟合模型，然后进行预测。
# train kNN detector
clf_name = 'HBOS'
clf = HBOS()
clf.fit(X_train)
# get the prediction labels and outlier scores of the training data
y_train_pred = clf.labels_ # binary labels (0: inliers, 1: outliers)
y_train_scores = clf.decision_scores_ # raw outlier scores
# get the prediction on the test data
y_test_pred = clf.predict(X_test) # outlier labels (0 or 1)
y_test_scores = clf.decision_function(X_test) # outlier scores
# 使用ROC和Precision @ Rank n评估预测pyod.utils.data.evaluate_print()。
from pyod.utils.data import evaluate_print
# evaluate and print the results
print("\nHBOS On Training Data:")
evaluate_print(clf_name, y_train, y_train_scores)
print("\nHBOS On Test Data:")
evaluate_print(clf_name, y_test, y_test_scores)
# 在培训和测试数据上查看示例输出。
D:\Anaconda3\lib\site-packages\pyod\utils\data.py:189: FutureWarning: behaviour="old" is deprecated and will be removed in version 0.8.0. Please use behaviour="new", which makes the returned datasets in the order of X_train, X_test, y_train, y_test.
FutureWarning)
HBOS On Training Data:
HBOS ROC:1.0, precision @ rank n:1.0
HBOS On Test Data:
HBOS ROC:1.0, precision @ rank n:1.0
# 通过可视化所有示例中包含的功能来生成可视化。
visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
y_test_pred, show_figure=True, save_figure=True)
教程的参考资料
[1]Goldstein, M. and Dengel, A., 2012. Histogram-based outlier score (hbos):A fast unsupervised anomaly detection algorithm . InKI-2012: Poster and Demo Track, pp.59-63.
浙公网安备 33010602011771号