马尔可夫假设 “为啥更好”

大白话讲马尔可夫假设 “为啥更好”,核心是 “砍断长依赖,让计算变简单,还能凑合有用” ,分三步说:

1. 先吐槽 “原来的方法” 多烂

之前 “以字为单位” 的方法,要算 “第 n 个字的概率,得看前面所有字”,组合爆炸,电脑根本算不动(比如句子长点,要统计的情况指数级增长,直接卡死 )。

2. 马尔可夫假设干了啥?

它说:“别管前面所有字了!第 n 个字的概率,只看前面‘有限几个字’就行” 。
比如公式里 P(wₙ|w₁…wₙ₋₁) ≈ P(wₙ|wₙ₋₃, wₙ₋₂, wₙ₋₁) ,意思是 “算第 n 个字的概率,只看前面 3 个(也可以是 1 个、2 个,看情况)字的影响”,砍断了 “前面所有字” 的依赖链!

3. 好在哪?(对比原来的方法)

  • 计算量暴降:不用统计 “前面所有字的组合”,只看 “最近几个”,电脑能算得动了!
  • 还能凑合有用:虽然简化了,但语言里 “最近的几个词影响最大”(比如 “今天天气” 后面,“不错” 的概率,主要受 “天气” 影响,更早的 “今” 影响小 ),所以简化后结果还凑合能用。

举例子感受一下

原来算 “今天天气不错”,以字为单位得看:
P(今)*P(天|今)*P(天|今天)*P(气|今天天)*P(不|今天天气)*P(错|今天天气不)

用马尔可夫假设(比如只看前面 2 个字),可能简化成:
P(今)*P(天|今)*P(天|今天)*P(气|天天)*P(不|天气)*P(错|气不)

明显统计量少了,计算简单了,还能抓住主要依赖关系 !

总结:马尔可夫假设是 “偷懒但聪明的方法”—— 砍断没必要的长依赖,让计算从 “不可能完成” 变成 “能完成”,还保留了 “最近几个词的关键影响”,所以比原来的方法好~
posted @ 2025-06-22 09:36  m516606428  阅读(5)  评论(0)    收藏  举报