HMM用于自然语言处理(NLP)中文分词,是用来描述一个含有隐含未知参数的马尔可夫过程,其目的是希望通过求解这些隐含的参数来进行实体识别,说简单些也就是起到词语粘合的作用。
HMM隐马尔可夫模型包括:
OBS 显现层(observations)
States 隐含层
Start_p 初始概率 P(a)
Trans_p 转移概率 P(b|a)
Emit_p 发射概率
例题:小黑每天根据天气【下雨、晴天】决定当天的活动【散步、购物、清理房间】,她有在朋友圈里发了一条信息“我前天在公园散步,昨天购物,今天清理房间了”,如何根据发的信息推断这三天的天气?

第一天:
【第一天】【散步】=【初始概率,下雨】*【发射概率,散步】=0.6*0.1=0.06
【第一天】【散步】=【初始概率,晴天】*【发射概率,散步】=0.4*0.6=0.24
因为0.24>0.06,第一天可能是晴天
第二天:
【第二天】【购物】=【第一天散步,初始概率,下雨】*【转移概率,下雨】*【发射概率,购物】=0.06*0.7*0.4=0.0168
【第二天】【购物】=【第一天散步,初始概率,下雨】*【转移概率,晴天】*【发射概率,购物】=0.06*0.3*0.3=0.0054
【第二天】【购物】=【第一天散步,初始概率,晴天】*【转移概率,下雨】*【发射概率,购物】=0.24*0.4*0.4=0.0384
【第二天】【购物】=【第一天散步,初始概率,晴天】*【转移概率,晴天】*【发射概率,购物】=0.24*0.6*0.3=0.0432
第一天散步+第二天购物的情况下,第一天可能是晴天,第二天也可能是晴天
第三天:
【第三天】【清理】=【初始概率,晴天,下雨】*【转移概率,下雨】*【发射概率,清理】=0.0384*0.7*0.5=0.01344
【第三天】【清理】=【初始概率,晴天,下雨】*【转移概率,晴天】*【发射概率,清理】=0.0384*0.3*0.1=0.00114
【第三天】【清理】=【初始概率,晴天,晴天】*【转移概率,下雨】*【发射概率,清理】=0.0432*0.4*0.5=0.00864
【第三天】【清理】=【初始概率,晴天,晴天】*【转移概率,晴天】*【发射概率,清理】=0.0432*0.6*0.1=0.00259
【第三天】【清理】=【初始概率,下雨,下雨】*【转移概率,下雨】*【发射概率,清理】=0.0168*0.7*0.5=0.00588
【第三天】【清理】=【初始概率,下雨,下雨】*【转移概率,晴天】*【发射概率,清理】=0.0168*0.3*0.1=0.00050
【第三天】【清理】=【初始概率,下雨,晴天】*【转移概率,下雨】*【发射概率,清理】=0.0054*0.4*0.5=0.00108
【第三天】【清理】=【初始概率,下雨,晴天】*【转移概率,晴天】*【发射概率,清理】=0.0054*0.6*0.1=0.00032
第一天散步+第二天购物+第三天打扫的情况下,第一天晴天,第二天下雨,第三天下雨概率最大
用Python实现:


# Python -version 3.5以上版本
# 打印路径概率表
def print_dptable(V):
print (" ",)
for i in range(len(V)):
print ("%7d" % i,)
print ()
for y in V[0].keys():
print ("%.5s: " % y,)
for t in range(len(V)):
print ("%.7s" % ("%f" % V[t][y]),)
print ()
def viterbi(obs, states, start_p, trans_p, emit_p):
# 路径概率表 V[时间][隐含层] = 概率
V = [{}]
# 中间变量
path = {}
# 状态初始化 (t == 0)
for y in states:
V[0][y] = start_p[y] * emit_p[y][obs[0]]
path[y] = [y]
# 对 t > 0 跑一遍维特比算法
for t in range(1, len(obs)):
V.append({})
newpath = {}
for y in states:
# 概率 隐含层 = 前状态是y0的初始概率 * y0转移到y的转移概率 * y表现为当前状态的发射概率
(prob, state) = max([(V[t - 1][y0] * trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])
# 记录最大概率
V[t][y] = prob
# 记录路径
newpath[y] = path[state] + [y]
path = newpath
print_dptable(V)
(prob, state) = max([(V[len(obs) - 1][y], y)