读数据分析思维通识课03从数据中快速发现规律(下)

1. 标准差

1.1. 标准差（standard deviation）= 一次统计中个体分数间的离散程度，反映个体对样本整体均值的代表性，属于描述统计

1.2. 代表一组数值和平均值相比分散的程度

1.3. 标准差大代表大部分的数值和平均值之间的差异比较大，标准差小代表这组数值比较接近平均值

1.4. 不仅需要知道平均值，也需要知道标准差

1.5. 离散系数

• 1.5.1. Coefficient of Variation，CV

• 1.5.2. 用标准差除以平均值（离散系数=标准差/平均值）​

1.6. 在投资领域，标准差也是一个重要的风险/收益衡量指标

• 1.6.1. 银行储蓄的存款利率波动很小，相应的标准差就很小

• 1.6.2. 股票的波动性较大，收益的标准差也会比较大

1.7. 标准差其实反映着一个行业内的波动情况

• 1.7.1. 可以衡量一个人或团队的稳定性

1.8. 黑天鹅事件

1.9. 标准差是针对具体实例的描述性统计

1.10. 标准差针对已经发生的事情，它是平均值的一个补充

1.11. 尽量减小自己做人、做事的标准差，提高对自己标准差的预期

2. 标准误差

2.1. 标准误差（standard error）= 多次抽样中样本均值间的离散程度，反映样本均值对总体期望均值的代表性，属于推论统计

2.2. 标准误差代表一种推论估计

2.3. 反映的是多次抽样中样本均值之间的离散程度，也就是反映这次抽样的样本均值对于总体期望均值的代表性，主要在进行整体情况预测和推算时使用

2.4. 标准误差经常被用于基于一部分样品来判断整个产品线的产品质量，或者判断一件事情是否属于常见范围

2.5. 六希格玛（6σ）​

• 2.5.1. 指所有产品质量问题都需要控制在6个标准误差以内

2.6. 标准误差是多次抽样中对样本离散程度的描述，主要用在推论中

2.7. 对于标准误差，可以用成语“严于律己，宽以待人”来概括

• 2.7.1. 前半句是指我们在工作和生活中要尽量少出错，甚至不犯错，这种不断追求卓越的精神会一直推着我们向前跑

3. 数据抽样

3.1. 数据抽样都是常见的数据分析手段

3.2. 人口普查、调查问卷、人工智能训练的过采样等都采用了抽样的方式

3.3. 小数据抽样

• 3.3.1. 数据抽样可以分为小数据抽样和大数据抽样，我们先从最常见的小数据抽样入手

• 3.3.2. 简单随机抽样、系统抽样、分层抽样和整群抽样

• 3.3.3. 简单随机抽样

• 3.3.3.1. 从总体N中随机地抽取m个单位作为样本，使得每一个样本被抽中的概率相同

• 3.3.3.2. 特点在于每个样本被抽中的概率相同，每个样本完全独立，彼此间没有关联性和排斥性

• 3.3.3.3. 如果要抽样的样本总量比较小，你对人群比较了解，人群构成也比较单一，则可以直接使用简单随机抽样进行统计

• 3.3.4. 系统抽样

• 3.3.4.1. 依据一定的抽样距离，从整体中抽取样本

• 3.3.4.2. 好处是比较简单且不容易出错，组装工厂对手机质量进行抽样检测就会用到这个方法

• 3.3.4.3. 解决了简单随机抽样执行过程中的随机性问题

• 3.3.4.4. 如果针对某一场景下的特定人群且这些人群你接触的概率基本相同，则可以用系统抽样进行统计

• 3.3.5. 分层抽样

• 3.3.5.1. 将抽样单位按某种特征或规则划分为不同的层，然后从不同的层中独立、随机地抽取样本，从而保证样本的结构接近于总体的结构，提高估计的精度

• 3.3.5.2. 如果想要得到比较精确的统计结果，同时你能够动用的资源也比较多，则可以使用分层抽样，这样得到的结果会比较科学

• 3.3.6. 整群抽样

• 3.3.6.1. 将总体中若干抽样单位合并为组（称为群）​，抽样时直接抽取群，然后对所选群中的所有抽样单位实施调查

• 3.3.6.2. 只需要群的抽样框，可以简化工作量

• 3.3.6.3. 很明显的缺点，那就是精度较差，很可能出现偏差

• 3.3.6.4. 如果资源不够，你可以通过各种方式把一些分层或者一些组织机构合并成群，针对群来抽样，当然代价就是降低了整体的准确度

3.4. 大数据

• 3.4.1. 舍恩伯格提出了大数据时代的三种思维变革：要全体不要抽样、要效率不要绝对精确、要相关不要因果

• 3.4.2. 从数据分析目标上讲，大数据之所以被称为大数据，是因为它可以分析每个人的行为，从而进行计算和推荐

• 3.4.2.1. 大数据也没有逃脱数学法则，在允许一定误差的情况下，抽样可以大幅缩减参与计算的数据量

• 3.4.2.2. 大数据时代下的统计分析也可以沿用小数据抽样算法，这是有理论基础的

• 3.4.3. 在做数据分析时，对数据质量的要求远高于对数据量的要求，所以数据并不是越多越好

• 3.4.3.1. 抽样过程能帮助我们控制有效数据的比重

• 3.4.3.2. 在大数据时代下也要了解数据的构成，并进行合理的抽样

• 3.4.4. 从数据量级来看，每年的数据量都以指数级增长，特别是在IoT（Internet of Things，物联网）数据时代来临后数据量更是呈爆炸式增长

• 3.4.4.1. 合理的抽样方法可以有效提升计算效率

• 3.4.5. 大数据并不否定原有的统计学原理，而是用工程能力扩展了统计学和数学

• 3.4.6. 抽样算法

• 3.4.6.1. 蓄水池算法

3.4.6.1.1. 写入全球领先的大数据公司Cloudera数据平台的 Cloudera ML中，成为常用函数

3.4.6.1.2. 解决的问题是：给你一个长度很大或者长度未知的数据流，并且你只能访问一次该数据流的数据，请编写一个随机选择算法，使得所选数据流中每个数据被选中的概率都相等

• 3.4.6.2. 过采样和欠采样

• 3.4.7. 数据其实不是数据抽样的终结者，无论是大数据还是小数据，都无法逃离统计学、数学、集合论、数据结构等基础理论的约束

3.5. 合适的数据抽样算法能够让我们从局部看到事物的全貌

4. 卡方检验

4.1. 基本思想就是先做一个无效假设（H0）​，即我们提出的这个因素与最终结果没有关系，也就是说最终结果与数学中的期望值是一样的（期望值的计算方法就是对可能出现的结果的概率做加权平均）​

4.2. 有一个与无效假设相反的备择假设（H1）​

4.3. 卡方检验的思想就是通过计算观察值和理论值之间的偏离程度来判断我们所做的原假设是否成立

4.4. 卡方分布是指，若k个随机变量Z1、…、Zk相互独立，且数学期望为0、方差为1（即服从标准正态分布）​，则这k个随机变量的平方和组成的随机变量X符合卡方分布，此时这个k就是自由度（Degree of Freedom，DF）​

4.5. P值是用来判断H0假设是否成立的依据

• 4.5.1. 期望值是基于H0假设得出的，观测值与期望值越一致，就说明检验现象与零假设越接近，我们越没有理由拒绝零假设（P值就越大）​

• 4.5.2. 观测值与期望值越偏离，则说明零假设越站不住脚，我们越有理由拒绝零假设，从而推断备择假设成立（P值就越小）​

• 4.5.3. 只需要记住进行卡方检验后，对照出来的P值越小越好

4.6. 卡方检验就像“万能药”​，已被数据分析人员、数据挖掘算法人员和数据科学家广泛应用于各种各样的数据测试中

4.7. 不适用的场景

• 4.7.1. 与数据量和频次相关的检验

• 4.7.2. 只能检验已知因素，而不能发现潜在因素

• 4.7.3. 无法针对时间序列进行分析

• 4.7.4. 卡方检验针对的是整体结果和某单一因素的关系

• 4.7.5. 因果倒置

5. 精确率与置信区间

5.1. 统计分析、数据挖掘和人工智能三大类，以及聚类、分析、关联、神经网络等多种算法

5.2. 准确率

• 5.2.1. 准确率就是看整体预测准确的概率

• 5.2.2. 准确率 = 预测正确的样本数量/总的样本数量

• 5.2.3. 准确率衡量整体预测的准确程度

5.3. 精确率

• 5.3.1. P值、查准率

• 5.3.2. 精确率是指预测正确的正样本（TP）在所有预测为正样本的样本中出现的概率，即分类正确的正样本个数占分类器判定为正样本的样本个数的比例

• 5.3.3. 精确率规避指鹿为马

5.4. 召回率

• 5.4.1. 指预测正确的正样本（TP）在原始的所有正样本中出现的概率，即分类正确的正样本个数占真正的正样本个数的比例

• 5.4.2. 召回率保证所有目标类别都能被识别出来，避免指马为鹿

5.5. 精确率和召回率是一对“孪生兄弟”​，它们通常是成对出现的，用来衡量一个算法模型到底好不好

• 5.5.1. 单个指标高并没有意义，既避免“指鹿为马”​，也避免“指马为鹿”​，才是最好的算法模型

5.6. 置信区间

• 5.6.1. 置信区间估计是参数估算的一种，它用一个区间来估计参数值，置信区间也就是一定信心下的区间

• 5.6.2. 置信度和置信区间是一组参数，用来告诉你算法模型的误差范围

• 5.6.3. 置信区间表示识别出来的范围，置信度表示你对结果的信心程度