大数据技术之_19_Spark学习_08_Spark 机器学习_01_机器学习概述 + 机器学习的相关概念 + 算法常用指标

第1章机器学习概述1.1 机器学习是啥？1.2 机器学习能干啥？1.3 机器学习有啥？1.4 机器学习怎么用？第2章机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章算法常用指标3.1 精确率和召回率3.2 TPR、FPR & TNR3.3 综合评价指标 F-measure3.4 其他一些评估参数3.5 ROC 曲线、AUC3.5.1为什么引入 ROC 曲线？3.5.2什么是 ROC 曲线？3.5.3什么是 AUC？3.5.4 怎样计算 AUC？3.6 Spark MLlib 是啥？

第1章机器学习概述

1.1 机器学习是啥？

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
即通过算法使计算机能够模拟人类的判别能力。

1.2 机器学习能干啥？

1.3 机器学习有啥？

1.4 机器学习怎么用？

第2章机器学习的相关概念

2.1 数据集

一组数据的集合被称作数据集，用于模型训练的数据集叫训练集，用于测试的数据集叫测试集。一个数据集包含多条数据，一条数据包含多个属性。

2.2 泛化能力

是指机器学习通过训练集进行模型的训练之后对未知的输入的准确判断能力。

2.3 过拟合和欠拟合

过拟合是指在利用训练数据进行模型训练的时候，模型过多的依赖训练数据中过多的特征属性。欠拟合是指没有通过训练集达到识别的能力。

2.4 维度、特征

对于西瓜数据集，色泽、根蒂、敲声就是维度，也叫特征值。

2.5 模型

模型就是复杂的数学相关函数，只是该函数具有很多的未知的参数，通过训练集训练来确定模型中的参数，生成的已知参数的函数就是模型。就是一种映射。

2.6 学习

学习就是根据业务数据构建模型的过程。
机器学习分为有监督学习和无监督学习，有监督学习是指训练集中有明确的标记，如下数据集：各种特征的西瓜是不是好瓜，有明确的标记。分类就是典型的有监督学习。
无监督学习是指训练集中没有明确的标记，聚类就是典型的无监督学习。

第3章算法常用指标

3.1 精确率和召回率

考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被预测成正类，即为真正类（True positive），如果实例是负类被预测成正类，称之为假正类（False positive）。相应地，如果实例是负类被预测成负类，称之为真负类（True negative），正类被预测成负类则为假负类（false negative）。
TP：正确肯定的数目
FN：漏报，没有正确找到的匹配的数目
FP：误报，给出的匹配是不正确的
TN：正确拒绝的非匹配对数
列联表如下表所示，1 代表正类，0 代表负类：

精确率（正确率）和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。
一般来说，Precision 就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall 就是所有准确的条目有多少被检索出来了，两者的定义分别如下：
Precision = 提取出的正确信息条数 / 提取出的信息条数
Recall = 提取出的正确信息条数 / 样本中的信息条数
为了能够评价不同算法的优劣，在 Precision 和 Recall 的基础上提出了 F1 值的概念，来对 Precision 和 Recall 进行整体评价。F1 的定义如下：
F1值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)

不妨举这样一个例子：

某池塘有 1400 条鲤鱼，300 只虾，300 只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了 700 条鲤鱼，200 只虾，100 只鳖。那么，这些指标分别如下：
　　正确率 = 700 / (700 + 200 + 100) = 70%
　　召回率 = 700 / 1400 = 50%
　　F1值 = 70% * 50% * 2 / (70% + 50%) = 58.3%
不妨看看如果把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化：
　　正确率 = 1400 / (1400 + 300 + 300) = 70%
　　召回率 = 1400 / 1400 = 100%
　　F1值 = 70% * 100% * 2 / (70% + 100%) = 82.35%

由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而 F1 值，则是综合这二者指标的评估指标，用于综合反映整体的指标。
当然希望检索结果 Precision 越高越好，同时 Recall 也越高越好，但事实上这两者在某些情况下有矛盾的。比如极端情况下，我们只搜索出了一个结果，且是准确的，那么 Precision 就是 100%，但是 Recall 就很低；而如果我们把所有结果都返回，那么比如 Recall 是 100%，但是 Precision 就会很低。因此在不同的场合中需要自己判断希望 Precision 比较高或是 Recall 比较高。如果是做实验研究，可以绘制 Precision-Recall 曲线来帮助分析。

3.2 TPR、FPR & TNR

引入两个新名词。
其一是真正类率(true positive rate, TPR)，计算公式为：
TPR = TP / (TP + FN)
刻画的是分类器所识别出的正实例占所有正实例的比例。
另一个是负正类率(false positive rate, FPR)，计算公式为：
FPR = FP / (FP + TN)
计算的是分类器错认为正类的负实例占所有负实例的比例。
还有一个真负类率(True Negative Rate, TNR)，也称为 specificity，计算公式为:
TNR = TN /(FP + TN) = 1 - FPR

3.3 综合评价指标 F-measure

Precision 和 Recall 指标有时候会出现的矛盾的情况，这样就需要综合考虑他们，最常见的方法就是 F-Measure（又称为F-Score）。
F-Measure 是 Precision 和 Recall 加权调和平均：

当参数 α=1 时，就是最常见的 F1。因此，F1 综合了 P 和 R 的结果，当 F1 较高时则能说明试验方法比较有效。

3.4 其他一些评估参数

3.5 ROC 曲线、AUC

3.5.1为什么引入 ROC 曲线？

原因一：在一个二分类模型中，对于所得到的连续结果，假设已确定一个阀值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。如果减小阀值，减到 0.5，固然能识别出更多的正类，也就是提高了识别出的正例占所有正例的比类，即 TPR，但同时也将更多的负实例当作了正实例，即提高了 FPR。为了形象化这一变化，引入 ROC，ROC 曲线可以用于评价一个分类器。
原因二：在类不平衡的情况下，如正样本 90 个，负样本 10 个，直接把所有样本分类为正样本，得到识别率为 90%。但这显然是没有意义的。单纯根据 Precision 和 Recall 来衡量算法的优劣已经不能表征这种病态问题。

3.5.2什么是 ROC 曲线？

ROC（Receiver Operating Characteristic）翻译为 “接受者操作特性曲线”。曲线由两个变量 1-specificity 和 Sensitivity 绘制。1-specificity=FPR，即负正类率。Sensitivity 即是真正类率，TPR(True positive rate)，反映了正类覆盖程度。这个组合以 1-specificity 对 sensitivity，即是以代价 (costs) 对收益 (benefits)。
此外，ROC 曲线还可以用来计算 “均值平均精度”（mean average precision），这是当你通过改变阈值来选择最好的结果时所得到的平均精度（PPV）。
为了更好地理解 ROC 曲线，我们使用具体的实例来说明：
如在医学诊断中，判断有病的样本。那么尽量把有病的揪出来是主要任务，也就是第一个指标 TPR，要越高越好。而把没病的样本误诊为有病的，也就是第二个指标 FPR，要越低越好。
不难发现，这两个指标之间是相互制约的。如果某个医生对于有病的症状比较敏感，稍微的小症状都判断为有病，那么他的第一个指标应该会很高，但是第二个指标也就相应地变高。最极端的情况下，他把所有的样本都看做有病，那么第一个指标达到1，第二个指标也为1。
我们以 FPR 为横轴，TPR 为纵轴，得到如下 ROC 空间。
我们可以看出，左上角的点 (TPR=1,FPR=0) 为完美分类，也就是这个医生医术高明，诊断全对。点 A(TPR>FPR)，医生A的判断大体是正确的。中线上的点 B(TPR=FPR)，也就是医生B全都是蒙的，蒙对一半，蒙错一半。下半平面的点 C(TPR<FPR)，这个医生说你有病，那么你很可能没有病，医生C的话我们要反着听，为真庸医。上图中一个阈值，得到一个点。现在我们需要一个独立于阈值的评价指标来衡量这个医生的医术如何，也就是遍历所有的阈值，得到 ROC 曲线。
还是一开始的那幅图，假设如下就是某个医生的诊断统计图，直线代表阈值。我们遍历所有的阈值，能够在 ROC 平面上得到如下的 ROC 曲线。

曲线距离左上角越近，证明分类器效果越好。

如上，是三条 ROC 曲线，在 0.23 处取一条直线。那么，在同样的低 FPR=0.23 的情况下，红色分类器得到更高的 PTR。也就表明，ROC 越往上，分类器效果越好。我们用一个标量值 AUC 来量化它。

3.5.3什么是 AUC？

AUC 值为 ROC 曲线所覆盖的区域面积,显然，AUC 越大，分类器分类效果越好。
AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。
AUC 的物理意义：假设分类器的输出是样本属于正类的 socre（置信度），则 AUC 的物理意义为，任取一对（正、负）样本，正样本的 score 大于负样本的 score 的概率。

3.5.4 怎样计算 AUC？

第一种方法：AUC 为 ROC 曲线下的面积，那我们直接计算面积可得。面积为一个个小的梯形面积之和。计算的精度与阈值的精度有关。
第二种方法：根据 AUC 的物理意义，我们计算正样本 score 大于负样本的 score 的概率。取 N*M(N为正样本数,M为负样本数)个二元组，比较 score，最后得到 AUC。时间复杂度为 O(N*M)。
第三种方法：与第二种方法相似，直接计算正样本 score 大于负样本的概率。我们首先把所有样本按照 score 排序，依次用 rank 表示他们，如最大 score 的样本，rank=n(n=N+M)，其次为 n-1。那么对于正样本中 rank 最大的样本 rank_max，有 M-1 个其他正样本比他 score 小，那么就有(rank_max-1)-(M-1)个负样本比他 score 小。其次为 (rank_second-1)-(M-2)。最后我们得到正样本大于负样本的概率，时间复杂度为 O(N+M)。
MSE:Mean Squared Error
均方误差：是指参数估计值与参数真值之差平方的期望值。
MSE 可以评价数据的变化程度，MSE 的值越小，说明预测模型描述实验数据具有更好的精确度。

RMSE
均方误差：均方根误差是均方误差的算术平方根。

MAE:Mean Absolute Error
平均绝对误差：是绝对误差的平均值。
平均绝对误差能更好地反映预测值误差的实际情况。

fi 表示预测值，yi 表示真实值。
SD:standard Deviation
标准差：标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组组数据，标准差未必相同。