读数据分析思维通识课02从数据中快速发现规律(上)

1. 直方图与幂律分布

1.1. 直方图并不等于柱状图

• 1.1.1. 直方图展示数据的分布

• 1.1.2. 直方图的x轴代表定量数据或区域数据（用于查看分布）​，

• 1.1.3. 直方图是针对定量数据分布进行*定性分析

• 1.1.4. 从柱子的间隔来看，直方图的柱子之间没有间隔

• 1.1.5. 直方图的柱子的宽度可以不一样

• 1.1.5.1. 柱子宽度代表区间的长度，根据区间的不同，柱子宽度可以不同

• 1.1.6. 柱状图比较数据的大小

• 1.1.7. 柱状图的x轴代表分类数据

• 1.1.8. 柱状图是针对分类数据进行*定量分析

• 1.1.9. 从柱子的间隔来看，柱状图的柱子之间是有间隔的

• 1.1.10. 柱状图的宽度必须一样

• 1.1.10.1. 柱子宽度没有数值含义，所以宽度必须一致

1.2. 直方图

• 1.2.1. 最早由数据统计学家卡尔·皮尔逊（Karl Pearson）于1891年引入

• 1.2.2. 可以用来统计和展示现实生活中各种各样的数据分布情况

• 1.2.3. 当你不确定某些数据的具体分布情况时，可以把它们绘制成直方图，就能看到*内在规律了

1.3. 幂律分布

• 1.3.1. 由直方图展现出来的呈指数下降或上升的分布形式，科学家们称作“幂律分布”​

• 1.3.2. 也称为指数分布，你会发现在这种分布中，x轴起始位置的数值很高（或很低）​，然后数值呈指数级下降（或上升）到x轴的末端，按照统计学定义即“分布密度函数是幂函数的分布”​

• 1.3.3. 全球各种语言的词汇使用率都遵循幂律分布

• 1.3.4. 病毒、树种和词汇其实都有一个*共性—传播性

1.4. 帕累托法则

• 1.4.1. 二八法则就是20%的人占据80%的资源，剩下的80%的人分享最后20%的资源

• 1.4.2. 帕累托偶然发现，自己花园里大部分的豌豆是由极少数的豌豆荚产生的

• 1.4.3. 企业的竞争力同样遵循帕累托法则

• 1.4.4. 一个领域中只有第一和第二，没有第三

• 1.4.5. 在日常生活中，不要将所有事情都放在同一个优先级上，而应该学会运用帕累托法则识别其中*20%最重要的问题并优先解决

1.5. 幂律分布与帕累托法则都强调了“重要的少数”和“琐碎的多数”的概念，从某种意义上说，世界从来都不是完全平衡的

1.6. 如果你比其他人更努力，每天积累哪怕是0.1%的优势，不断地积累下去，你就会占据越来越多的资源，甚至成为这个领域的专家

• 1.6.1. 在专业领域或者所在行业，只要你每天比其他人多取得1%的成功，积累起来的竞争优势可能使他人难以超越，从而让你成为能够自信宣告“我全都要”的少数派之一

2. 数据分布

2.1. 生活中最为常见的是正态分布和拉普拉斯分布

• 2.1.1. 反映了现实生活中隐藏在数据背后的“势”​

2.2. 正态分布

• 2.2.1. 两头低、中间高，并且左右对称的钟形曲线

• 2.2.2. 最早用正态曲线描述数据的是德国著名数学家高斯，为了纪念他，有时我们也称正态分布为*高斯分布

• 2.2.3. 正态分布是由达尔文的表兄弟弗朗西斯·高尔顿命名的

• 2.2.3.1. 高尔顿开创了遗传学的统计研究，并用正态曲线来展示其研究结果，由此这个名字广为流传

• 2.2.4. 如果一个量是由许多微小的独立随机因素影响的结果，则可以认为这个量具有正态分布

2.3. 大数定律和中心极限定理描述的是不同维度的事情

• 2.3.1. 大数定律关注的是随机变量序列依概率收敛到其均值的算术平均，它说明了*频率在概率附近摇摆

• 2.3.2. 中心极限定理关注的是独立随机样本的和

• 2.3.2.1. 在中心极限定理下，随着样本数量趋于无穷大，样本和的分布会越来越接近正态分布

• 2.3.3. 大数定律关注的是概率，而中心极限定理关注的是样本和的分布

3. 拉普拉斯分布

3.1. 房价并不遵循我们预期的正态分布，而是更符合拉普拉斯分布

3.2. 拉普拉斯分布类似一条“凸”字形的曲线，从左到右，斜率先缓慢增大再快速增大，到达最高点后斜率先快速减小，再缓慢减小，形似“往里边凹陷的金字塔”​

3.3. 拉普拉斯分布图像是尖峰厚尾的，塔尖部分代表的是稀缺资源

3.4. 拉普拉斯分布在金融领域应用广泛，尤其在衡量股票收益时

• 3.4.1. 股票收益率更符合拉普拉斯分布

• 3.4.1.1. 意味着盈利的日子特别集中

3.5. 随着市场和互联网的发展，信息变得越来越透明，相关的数据分布也随之发生了很大的变化

• 3.5.1. 在改革开放之前信息不对称的年代，资源相对没有那么集中，人们拿到的工资分布接近正态分布

• 3.5.2. 现在就程序员的工资而言，顶尖程序员和普通程序员的工资可能相差10倍都不止，这就会导致更厚的尾部和更高的峰值

3.6. 全国城市房价分布和城市内小区房价分布现在也符合拉普拉斯分布

• 3.6.1. 在信息透明和市场竞争激烈的情况下，工资、房价和股票都呈现一个特点：越处在塔尖的个体越具有资源吸附能力

3.7. 在信息透明和市场竞争激烈的情况下，工资、房价和股票都呈现一个特点：越处在塔尖的个体越具有资源吸附能力

3.8. 原有的数据分布模型是否还适用于当前的市场情况

• 3.8.1. 只有准确把握数据分布的大趋势，我们才能够做出更准确的决策

• 3.8.2. 将来无论面对何种场景进行数据分析，数据的分布应该都能贴合地描述社会上的“大势”​，所以在做出生活决策时，我们不能盲目套用数据和算法，领域背后的知识对我们而言更加关键

4. 散点图和相关性

4.1. 散点图

• 4.1.1. 散点图被誉为“万图之王”

• 4.1.2. 1913年，美国天文学家亨利·诺里斯·罗素（Henry Norris Russell）用散点图揭示了宇宙的秘密

• 4.1.3. 散点图能够帮助科学家在复杂的宇宙中发现客观规律，同样适用于我们日常中预测销售量和成本投入之间的关系，以及分析投资和回报之间的关系

• 4.1.4. 散点图反映的是两个变量之间的关系

• 4.1.5. 为了能够明确展示数据之间的趋势，y轴必须从0开始

• 4.1.5.1. 散点图的坐标轴颗粒度要合适

• 4.1.6. 为了表示趋势，我们一般会添加一条趋势线来揭示背后的规律

• 4.1.6.1. 趋势线只能有一条，不应有多条，更不能出现趋势相交的情况

• 4.1.6.2. 增长黑洞​：不断增加广告投入，回报率却很低

4.2. 正相关

4.3. 负相关表示的是此增彼减，呈现出斜向下的趋势

4.4. 指数增长和指数分布有些类似，只不过指数分布计算的是数据的累积分布值，而指数增长指的是两个具体数值之间的增长关系

• 4.4.1. 指数级别的变化一般预示着极大的机会

4.5. U型曲线包括正U型趋势线和反U型趋势线，它们是比较常见的趋势线

• 4.5.1. 一个比较著名的反U型趋势线就是经济学中的“拉弗曲线”​（Laffer Curve）​，拉弗曲线典型地反映了政府税收收入和税率之间的关系

• 4.5.2. 当税率开始上升时，税收收入一开始也会随之增加，但是当税率上升到一定程度时，重税导致企业开始倒闭和破产，这时税收收入反而开始减少，当税率达到100%时，企业全部破产，税收收入为零

4.6. 数据分析的艺术就在于通过数据分析手段和管理经验找到反U型趋势线的最高点

4.7. 易错点

• 4.7.1. 趋势误判是指在数据还不完整的情况下，错误判断了这个指标的增长趋势

• 4.7.1.1. 没有经过正确的数据验证，切勿轻易下结论

• 4.7.2. 得克萨斯神枪手谬误

• 4.7.2.1. 先朝墙上射击，然后在弹孔最密集的地方画上靶心，并把散布在其他地方的弹孔用泥土填补

• 4.7.2.2. 是不是涵盖了所有数据，还是只给你展示了最符合这种数据规律的数据

• 4.7.3. 幸存者偏差

• 4.7.3.1. 在分析散点图时，你不仅要看到规律，还应该了解形成这个规律的原因和背后的场景，避免简单地通过一个图表就草率得出结论

4.8. 利用散点图做深入的数据分析时不要轻易下结论

4.9. 不能由现有结果给出趋势判断（做事情无论成功还是失败，都不要用上天的安排来麻痹自己）​，你需要了解形成规律的原因和背后的场景

4.10. 不要用片面的数据来证明你的规律

4.11. 要根据自己的业务领域知识以及后面讲到的算法模型找到接近事实的最优解，这样才能够更准确地预测这个世界，而不是错误地应用模型，最终导致决策失误