读数据分析思维通识课01数据背后的真相

1. 数据背后的真相

1.1. 数据无处不在，你需要很好地认识数据，这样才能让数据更好地指导你的生活

1.2. 在大数据领域，我们针对的是个人的数据，虽然数据量很大，但是每行数据蕴含的信息量（即熵）很小，因此我们会运用很多人工智能领域的数据挖掘算法，帮助我们在浩如烟海的数据里找到其中的珍珠

• 1.2.1. 抖音的推荐算法就是典型的大数据应用代表

1.3. 小数据往往是在企业经营范围内产生的，数据量很小，但是蕴含巨大的价值（熵）​，所以分析时要更谨慎，因为每一个数据的背后都隐藏着大量的知识

1.4. 大数据为业务做支撑，小数据则是内核动力，两者缺一不可，只是应用场景不同

1.5. 仅了解算法是不够的

• 1.5.1. 不同的解释会让结果完全不同

1.6. 数据就是“外行看热闹，内行看门道”​

2. 平均值

2.1. 平均值的英文是average，它是事后统计的，等于样本值的总和除以样本的个数

• 2.1.1. 算术平均值、几何平均值、平方平均值、调和平均值和加权平均值

• 2.1.2. 日常生活中提到的平均值默认都是“算术平均值”​，也就是“一组数据中所有数据之和再除以数据的个数”​

• 2.1.3. 不要被平均值骗了，它不能代表整体水平

2.2. 平均值是基于所有样本数据计算得到的，容易受到极端值的影响

• 2.2.1. 在很多情况下，平均值不具备代表性，它无法真实、准确地反映数据的整体情况

• 2.2.2. 平均值仅在数据呈均匀分布或正态分布的情况下才有意义

• 2.2.3. 如果忽略整个数据的分布情况，那么这个平均值其实是缺乏意义的

2.3. 分组结论和整体平均值不是一回事

• 2.3.1. 分组中得到的平均值和从整体中得到的平均值是不一样的，*分组中得到的平均值更具参考价值

• 2.3.2. 分组结论和整体平均值可能会大相径庭

• 2.3.3. NBA不统计整体命中率，而是分别统计2分球和3分球的命中率

• 2.3.4. 球员B的2分球和3分球命中率都比球员A高，整体命中率却比球员A低

• 2.3.4.1. 2分球和3分球的投球能力根本不同，这两个投球数本身就不应该直接相加

• 2.3.4.2. 虽然球员B厉害，但是其60%的投球都是命中率比较低的3分球，而在数量上，命中率较高的2分球就投得少了，由于3分球的命中率是明显低于2分球的命中率的，这样就拉低了他的整体命中率，造成了总体上的劣势

2.4. 辛普森悖论

• 2.4.1. 在分组比较中都占优势的一方，在总评中有时反而是失势的一方

• 2.4.2. “质”​（命中率）与“量”​（投球数）是两个维度的数据，如果全部合并成“质”​（命中率）这个维度的数据，就会导致错误的结论

• 2.4.3. 看到一个平均值时，你必须保持警惕，看看它的数据构成情况，而不是简单地用平均值来代表整体

• 2.4.4. 每次小范围内的输赢与整体上的输赢没有直接关系

• 2.4.5. 辛普森悖论的一个推论，将来你要使用数据分析做决策时，小到打牌，大到做投资，不要过于计较局部的得失，而是要在关键时刻敢于在大概率有把握的事情上大胆下注

3. 大数定律与小数陷阱

3.1. 大数定律

• 3.1.1. 是由瑞士数学家雅各布·伯努利提出的，它的核心逻辑是：只有当随机事件发生的次数足够多时，这些事件发生的频率才会趋近于预期的概率

• 3.1.2. 这个“大数”要求非常高，而大多数赌徒在赌到“足够多”次数前就已经输光了

• 3.1.3. 关于大数定律，我们不应该盲目跟风

• 3.1.4. 对于一项事业，你需要持续不断地努力，才能最终达到你的期望值

3.2. 小数定律

• 3.2.1. 是科学家阿莫斯·特沃斯基等人在研究“赌徒谬误”时提出的一个概念，叫作“小数陷阱”​

• 3.2.2. 每次事件其实是独立且随机的

• 3.2.3. 赌场乐于提供各种免费的好东西来吸引源源不断的客户的原因

• 3.2.3.1. 在赌场里，某些赌徒可能偶尔赢钱，但从整体看，只要赌博机持续运转，赌场就能稳赚不赔

• 3.2.4. 对于小数陷阱，我们应保持一颗平常心

• 3.2.5. “否极泰来”需要努力足够多的次数才可能出现，做事情要少一些“赌徒心态”​，多一些平常心，不要盲目跟风和下注才能获得最后的成功

3.3. 建立自己的“大数定律”来规避“小数陷阱”​

• 3.3.1. 充分利用前人的经验，站在前人的实验结果和规律上，不断学习、阅读（比如学习数据思维等课程）​，积累经验，总结自己想要从事的行业

3.4. 生活中最难的就是如何辨别什么是偶然，什么是必然

4. 数据的期望值

4.1. 墨菲定律

• 4.1.1. 总之你越不希望某件事情发生，这件事情往往就会发生

• 4.1.2. 如果一件事情有可能出错，让某人去做就一定会弄错

• 4.1.3. 如果有两种或两种以上的方式去做某件事情，而其中一种选择将导致灾难，则必定有人会做出这种选择

• 4.1.4. 任何事情都不会像它表面上看起来那么简单

• 4.1.5. 所有任务的完成周期都会比你预计的长

• 4.1.6. 任何事情只要有出错的可能，就会有极大的概率出错

• 4.1.7. 如果你担心某件事会出错，那么它一定会出错

• 4.1.8. 墨菲定律其实是由我们对好事情和坏事情发生的期望值的差异造成的

• 4.1.8.1. 心理影响的大小和发生概率的大小

4.2. 期望值就是对可能出现的结果的概率做加权平均

• 4.2.1. 期望值反映在大数定律下多次执行某件事情之后，得到的一个最可能的收益结果

4.3. 均值（也叫期望值）的英文是mean，它是事前预测的，这个值完全由概率分布决定，也就是“对可能出现的结果的概率做加权平均”​

4.4. 为大概率坚持，为小概率备份

4.5. 已知的是成本，未知的才是风险

4.6. 没有事情可以一蹴而就（平均值）​，我们需要努力足够多的次数（大数定律）​，并学会规避风险（期望值）​

• 4.6.1. 一旦你把这些小事落到实处，你对生活的掌控力就会大大提升

5. 随机对照试验

5.1. 伪随机，就是看上去过程是随机的，但实际上是确定的

• 5.1.1. 让你随意想一个数字，这个数字往往也是根据个人习惯和偏好想出来的

5.2. 生活中充斥着太多的“伪随机”​，它们会影响我们的判断

• 5.2.1. 你认为的随机其实都是“伪随机”

• 5.2.2. 人脑在选择随机数时，会刻意规避一些有规律的数字，这反而让这些随机数变得“不随机”了

• 5.2.3. 大部分用户其实并不愿意花时间填写调查问卷，一般积极填写的都是对这个产品感兴趣的，或者使用频率比较高并且希望其能有所改进的人

5.3. 如果我们选择样本时的随机程度不够，或者对数据的理解不够深入，就会出现一些“小确幸”​：我们可能会误以为幸运和缘分等出现的概率还挺高的

5.4. 随机对照试验

• 5.4.1. 是由现代统计学之父、数据分析的鼻祖—罗纳德·艾尔默·费希尔在《试验设计》一书中提出的，他通过一个很简单的例子验证了一件事情是否真实可信

• 5.4.1.1. 奶茶试验

• 5.4.1.2. 奶茶试验就是随机对照试验的雏形，正式的随机对照试验中会对研究对象进行随机分组，并设置对照组

• 5.4.1.3. 随机分组是双盲设计的前提条件，也就是研究者和受试者均无法知晓分组结果，最终通过结果来证明试验是否真的有效

• 5.4.2. 无论是临床医学、基因遗传学，还是互联网黑客增长理论中的A/B测试，随机对照试验都扮演着至关重要的角色

• 5.4.3. 帮助我们解决了一个关键问题，就是我们如何通过少量的数据来验证更广泛的规律

5.5. 幸存者偏差

• 5.5.1. 幸存者偏差就是当取得资讯的渠道仅来自幸存者时，得出的结论可能会与实际情况存在偏差

• 5.5.2. 看上去结果的确由随机对照试验产生，但在逻辑上是错误的，这其实是在用结果来倒推整个前期数据的产生过程

• 5.5.3. 幸存者偏差这个概念最早可以追溯到第二次世界大战期间，当时有各种地面防空作战和空战，在密集的炮火下，战机机身上几乎所有地方都有可能中弹，统计学家需要研究战机被击中的部位，从而确定哪些部位需要额外加强装甲

• 5.5.3.1. “看不见的弹痕最为致命”​

5.6. ​“预言帝”和“赌神”并不存在，我们看到的只是大样本数据背后的“幸存者”​

5.7. 不应仅关注从成功者那里学习如何成功，而应更多地从失败者那里总结他们为什么会失败，因为成功往往就是一个想方设法避免失败的过程

• 5.7.1. 别人的成功你不一定能复制，但别人踩过的坑，你若不注意，很大概率你也会因此摔跤

• 5.7.2. 不仅要避免犯错，也要学会“发现错误”​，从失败中学习

6. 指数和KPI

6.1. 凡是能用指数描述的，都是一些需要长期观察或者大范围衡量的事物

6.2. 上证指数

• 6.2.1. 得有标准值，也就是分母

• 6.2.1.1. 这个标准值不仅是一个数值，也对应一个具体的时间点

• 6.2.2. 一个指数不仅仅是一个数学公式，它还反映了一套管理规范

• 6.2.2.1. 股票要有样本池，样本池可不是随机选择的，而是由上海证券交易所精心挑选，包括若干大盘股和蓝筹股，以进行综合计算

• 6.2.2.2. 由于样本池中的单一股票会因非市场交易因素（例如配股、送股等）发生价格变动，但是由这些非市场交易因素导致的股票价格变动都不计算在这个指数的变化范围内

6.3. 用户忠诚度指数

• 6.3.1. 用户忠诚度指数用于衡量用户对某种行为的忠诚度

6.4. 智商

• 6.4.1. 人不是一成不变的，随着年龄的增长，人的智力水平也会发生变化

6.5. OKR

• 6.5.1. Objective and Key Result，目标与关键成果​

• 6.5.2. 为了规避KPI管理的一些缺点，OKR在某种程度上借鉴了指数建立和调整的规则

• 6.5.3. 建立好“O”之后，​“K”和“R”可以进行动态监测和调整，并为之建立一套分层和计算调整体系

6.6. 指数是数字化现实社会的一种常见的衡量方式

6.7. 指数不是一个简简单单的加权平均值，它背后映射了一套管理思维逻辑

7. 因果陷阱

7.1. 如果你不深究其中的逻辑，往往会被数据欺骗从而得出错误的结论，甚至引导你做出错误的行为

• 7.1.1. 数据分析就像一门中西医结合的医学，既要求你掌握数据分析方法，也要求你熟悉算法模型和工具

7.2. 因果倒置

• 7.2.1. 鸡叫导致天明

• 7.2.2. 看到数据结果时，一定要仔细推敲其中的业务逻辑，同时进行Db

7.3. 相关性而非因果关系

• 7.3.1. 因果是一种非常强的逻辑关系

• 7.3.1.1. 因果关系意味着如果我们做了A，那么一定会导致B的发生

• 7.3.2. 致癌因素太多了，你无法将吸烟和癌症直接联系起来

• 7.3.3. 两件事情即使相关，也无法说明它们之间有因果关系

• 7.3.3.1. 大脑容易记住有逻辑性的事物，所以我们经常将相关性“套上”因果的外壳，这是不对的

• 7.3.4. 不要轻易下因果关系的结论，相关性并不等于因果关系

• 7.3.5. 数据相关并不等于因果关系，对于数据分析和决策来说，我们需要懂业务，才能揭示真相，否则很容易被数据误导

7.4. 遗漏X变量

• 7.4.1. 找到背后真实原因

• 7.4.2. 母乳喂养时间

• 7.4.2.1. 真实原因是收入较低的家庭通常其他食物非常有限，所以更倾向于接受更长时间的单一母乳喂养

• 7.4.2.2. 没有充足的辅食才是导致婴儿营养不良的原因，现在新生儿家庭都已经知道，除了母乳喂养，后期增加辅食才能让孩子更健康

• 7.4.3. 没有业务逻辑支持的数据，只是数字而已

• 7.4.3.1. 没有数据支持的业务逻辑，也只是纸上的一张业务逻辑图

7.5. 伯克森悖论

• 7.5.1. 统计数据本身因果逻辑成立，但是以偏概全

• 7.5.2. 伯克森悖论指的是当不同个体被纳入研究样本的机会不同时，研究样本中的两个变量X和Y表现出统计相关，而总体中的X和Y却不存在这种相关性

7.6. 神枪手谬误

• 7.6.1. 由控制数据范围而导致错误的数据逻辑

• 7.6.2. 统计结果可能是被操纵的，操纵者将某些机缘巧合之下得到的比较好的结果的相关数据放到一起，以证明一个不成立的观点

• 7.6.3. 在查看最终数据分析报告时，一定要警惕它的数据是不是先有枪眼再画的靶子，或是先找到满意的结果再给你展示统计数据

7.7. 替代终点问题

• 7.7.1.  surrogate endpoint problem

• 7.7.2. 在分析和统计数据时，时间长度不足也会造成数据统计结果不准确

• 7.7.3. 风险投资人在选择创业公司时，往往依赖大方向判断和团队辨识，而不是依赖具体数据来表明某创业公司是否可靠

• 7.7.4. 创业公司成立的时间较短，其数据往往不能代表趋势，这就是替代终点问题