概率统计学重要模型

为什么概率统计如此重要？

• 世界充满不确定性，概率统计提供了量化不确定性的工具。
• 广泛应用于：人工智能、大数据、医药研发、金融工具设计等。
• 与常规编程不同，AI/机器学习必须面对随机性和不确定性。

概率统计 = 量化不确定性的工具。

---

贝叶斯思维

什么是贝叶斯思维

• 很多人判断事情，只看表面证据。
• 但真正的概率思维：看基础概率、看误差率、看新证据、综合更新判断。
• 贝叶斯的核心思想：当新证据出现后，人应该重新更新原来的判断。

案例：罕见病误诊问题（亨廷顿舞蹈症）

• 已知条件

  • 罕见病发病率：每10万人中约有4-8人患病（简化：1/10,000）

  • 检测准确率：真患病者检出率 = 99%

  • 误诊率：无病者被误诊为有病 = 1%

• 问题： 张三被诊断为患病，他真正患病的概率是多少？

• 计算过程

  • 假设有10万人检测：10万人中，真患病 = 10人，健康人 = 99,990人。
  • 检测结果
    • 真正有病的人：99%能查出来，约10人阳性。
    • 真正没病的人：1%会被误诊，99990 × 1%，≈ 999人误诊阳性。
    • 阳性总人数999 + 10 = 1009人，真正有病的人10人。
  • 最终结果：真正患病概率 = 10 ÷ 1009 ≈ 1%。

• 结论：很多人会觉得张三患病概率是99%，但实际不到 1%。

最反直觉的地方

• 虽然检测准确率高达99%，但因为这个病本身太罕见，所以“误诊的人”反而比“真有病的人”更多。
• 贝叶斯思维最经典的地方：不能只看“检测结果”，还要看“基础概率”。

核心启发

不要只看“检测准确率”，更重要的是：

• 事情本身是不是极小概率事件。
• 错误率有没有可能放大误差。

现实中的对应：幸存者偏差

• 比如：“马云成功了，所以你努力也能成功。”
• 但问题在于：成为马云这种级别的人，本身就是极小概率事件。
• 就是说：努力很重要，但基础概率太低时，成功依旧极难。

---

贝叶斯公式

数学表达

P(A|B) = [P(B|A) × P(A)] / P(B)

贝叶斯公式怎么理解？

• 贝叶斯公式它真正想表达的是：当我们拿到一个新证据后， 应该如何更新自己原本的判断。

• 例如：检测报告阳性，某人突然成功，某公司业绩暴涨，某个行业突然火爆，这些都是”新证据“。

• 真正重要的是：必须结合基础概率。

贝叶斯公式里的4个部分

1. P(A)：基础概率（先验概率），即事情原本发生的概率。
   • 例如：某病真实患病率、创业成功率、作弊概率。
2. P(B|A)：如果A真的发生，B出现的概率。
   • 例如：真得病的人，检测阳性的概率。
3. P(B)：证据本身出现的总概率。
   • 例如：所有检测阳性的人。
4. P(A|B)：更新后的概率（后验概率），即我们真正想知道的概率。
   • 例如：已经检测阳性的人，真正患病概率是多少？

案例：运动员违禁药检测

• 已知条件

  • 使用违禁药的基础概率 = 0.001

  • 检测准确率（真阳性）= 95%

  • 误检率（假阳性）= 10%

• 问题： 如果运动员被检出阳性，他真的用了药的概率是多少？

• 检测结果

  • 第一次阳性：真正用药概率 ≈ 0.9%

  • 第二次阳性：概率上升至 ≈ 7.9%

  • 第三次阳性：概率上升至 ≈ 45%

• 结论：连续三次阳性，仍不到一半的概率。

• 核心启发：新证据会不断提高概率，但如果基础概率极低，即使连续出现证据，结果也未必达到100%。

---

基础概率

什么是基础概率

• 定义：一件事情在真实世界中，本来发生的概率，也称为“先验概率”。
• 为什么它重要：因为，基础概率决定上限。

现实例子

• 选行业

  • 如果行业本身在高速增长，你努力更容易成功。
  • 如果行业在衰退，再努力也可能很难。
  

• 男女比例

  • 如果学校男女比例10:1，那谈恋爱难度天然更高。
  • 如果1:10，情况完全不同。
  

核心思想

• 很多时候，不是你不努力。
• 而是你所在的“概率土壤”太贫瘠，所在的平台基础太差。
• 所以，选城市，选学校，选行业，选公司，本质上都在选择基础概率。
• 基础概率决定了一个事件发生的底层可能性，往往比努力更重要。

---

条件概率

什么是条件概率？

• 定义：就是在“已经知道一些信息”的前提下，重新计算概率。

• 数学表达

  P(A|B) = P(A∩B) / P(B)
  

  

• 读作：在B发生条件下，A发生的概率。

案例：下雨

• 假设：今天下雨概率：30%，这是普通概率。

• 新信息（证据）：你发现，外面乌云特别厚。

• 结果：你会重新估计下雨概率，可能变成80%，这个“重新估计后的概率”，就是条件概率，因为它是在“已经看到乌云”的条件下计算的。

条件概率的核心思想

• 普通概率：不知道任何额外信息。
• 条件概率：知道了新信息后的概率。
• 贝叶斯：进一步实现了，根据结果，反推出真实原因。

---

均值的意义与陷阱

均值的直观理解

• 均值（平均值） 是所有数值加起来除以个数。
• 很多时候平均值，并不能反映真实情况。
• 在正态分布中，均值对应曲线的最高点（中间位置），比如成年人的身高、体重。

均值的陷阱：它可能骗了你

案例1：平均财富没有意义

• 你和马云的平均资产 = 几百亿美元，但这完全不能反映你的真实财富。
• 人均GDP低的国家，可能贫富差距极大，中位数更能说明问题。

案例2：一家看似赚钱的公司突然倒闭

• 数据：某公司过去5年，每月盈利情况：
  • 大部分月份盈利，平均月收益率 8%（非常亮眼）
  • 但其中有一个月 亏损90%（红色柱子极深）

• 结果

  • 那个月的巨亏消耗了公司所有现金流，公司倒闭。
  • 如果只看平均值，你会觉得“这么好的公司怎么会倒闭？”

核心启发

• 有时候一次极端事件，就足以毁掉所有平均成绩。
• 所以，现实世界并不总是“平均”的。
• 一个人的生命力，取决于面对重大挫折时的应对能力。

---

异常值

什么是异常值？

• 异常值是偏离平均值超过两倍标准差的数据点。
• 例如：股市暴跌、公司突然暴雷、黑天鹅事件、极端天气。

面对异常值的三种方式

1. 去掉异常值：去掉最高分，去掉最低分，适用于稳定系统。
2. 一视同仁：把它当普通数据看待。
3. 单独研究：因为很多时代变化，最开始都像“异常值”。
   • 例如：AI突然爆发、某行业突然崛起、某公司突然改变世界，最初看都“不正常”。

现实案例

• 国家叫停支付宝上市 → 异常值 → 后续一系列监管政策调整。
• 2020年后，世界基础概率发生变化，异常值的重要性上升。

---

大数定律

什么是大数定律？

• 试验次数越多，结果越接近稳定概率。

案例：抛硬币

• 抛10次：可能连续5次正面，看起来很随机。
• 抛10000次：结果会越来越接近，正反面各50%。

大数定律的人生启发

• 很多时候，不是规律不存在，而是你接触的数据样本太少，往往会大幅度的偏离世界的真相。
• 例如：谈两次恋爱失败，找两份工作不好，创业一次失败。
• 并不能说明人生一定如此。
• 正确做法
  • 多尝试：增加样本数量。
  • 保持耐心：不要太早下结论，拿到更多数据之后再慢慢总结经验。
  • 保持长期主义：因为人生本质上，是不断进行概率实验。

与贝叶斯结合

• 先验概率 + 新证据 → 后验概率 → 下一次的先验概率。
• 这就是“复盘”和“迭代”的数学本质。

---

概率分布

幂律分布

• 典型现象
  • 20%的人拥有80%的财富。
  • 少数公司占据大部分市场。
  • 少数头部博主吃掉绝大多数流量。
• 这就是：马太效应、赢家通吃、二八定律。
• 核心启发
  • 因为：世界很多时候，不是平均的，而是极端的。
  • 所以：必须建立自己的核心优势，在某个领域做到足够强。

正态分布

什么是状态分布

• 特点：大部分数据，集中在中间，两边越来越少。
• 例如：身高、体重、考试成绩，都比较接近正态分布。
• 关键概念
  • 平均值：曲线顶部，数据中心位置。
  • 标准差：数据分散程度，标准差越大，差异越大。
  • 方差：标准差的平方，用于放大差异。

案例：江湖人士 vs 正规军

• 江湖人士：标准差大，强弱悬殊。
• 正规军：标准差小，整体水平稳定。

案例：四种投掷飞镖的人

结合贝叶斯与大数定律的成长路径（持续迭代，动态进化）

• 愚蠢而坚定（年轻时的固执）：小样本下形成的错误信念。
• 愚蠢而不坚定（打破固执）：开始尝试新事物，接纳异常值。
• 聪明而不坚定（探索阶段）：接触多种方法，但尚未专注。
• 聪明而坚定（成熟阶段）：找到高基础概率的方向，持续深耕。
• 环境变化（再次打破固执）：“圆心偏移”，原来的“聪明而坚定”变成“愚蠢而坚定”，此时需要，再次打破固执，迭代进化。

投飞镖的案例警示我们：既要追求高均值（能力），也要控制方差（稳定），更要警惕环境变化让曾经的“坚定”变成“固执”。

---

总结