状态转换矩阵：
1 0 0 1 − ������ 0 ������ 0 1 − ������ 0 0 0 1 − ������ 0 0 0
0 0 ������ 0 0
0 0 0 ������ 1
0
赌徒问题（续）
• ������ =
0 ������ 1 − ������ 0 0 1 − ������ 0 0 0 0 0 ������ 0 0 0 0 1 − ������ 0 0 ������ 0 1 阵������的元素������������������ 等于从状态������������ 出发到达稳定时经过������������ 的次数的期望值。 推论：马尔可夫过程中，从非稳定状态������������ 出发，到达稳定状态时的步数期望值 等于矩阵������的������行元素的和。
赌徒问题
• 一个赌徒，假设拿两元钱，一次赌一美元，赢的概率是������，输的概率是1 − ������，当赢够4元，或者全部输光就不赌了。 • 状态转换图：
1 − ������ 1 1 − ������ 1 ������ 2 ������ 3 ������ 1 − ������ 1 4 ������ =
������
������������
.此矩阵
������������������ = 1, ������ = 1,2, … , ������.
������=1
重新标记这些状态的序号，把对角线是1的元素调整到右下角，也就是变成 ������������×������ ������������× ������−������ ������������×������ → ������ ������−������ × ������ ������(������−������)×(������−������) 矩阵������ = ������ − ������������×������
������2
������1
������3
������4
转移概率矩阵（transition matrix）
• 状态转移是指客观事物由一种状态到另一种状态的概率。 • 例如对应于一个天气预报的问题，若天气状态转移概率表如下： （其中列表示今天的状态，行表示明天的状态。） • ������ =
3 4 1 8 1 8 1 2 1 4 1 4 1 4 1 2 1 4
Markov Chain
Haitao Li
马尔可夫链（Markov Chain)概念
• 马尔可夫链是指数学上具有马尔可夫性质的离散时间随机过程。 • ������1 , ������2 , ������3 …马尔可夫链描述了一种状态序列，其每个状态值取决于前面有限 个状态。 ������1 , ������2 , ������3 …它们所有可能取值的集合，被称为“状态空间”，而������������ 的值则是在时间n的状态。如果������������+1 对于过去状态的条件概率分布仅是������������ 的 一个函数，则 P X������+1 = ������|X1 = ������1 , X2 = ������2 , … , X������ = ������������ = P X������+1 = ������|X������ = ������������ 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔科夫性质。
隐马尔可夫链（HMM）
• 假设我们开始掷骰子，我们先从三个骰子里挑一个，我们可能得 到这么一串数字（掷骰子10次）： •1635273524 • 隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D矩阵 • 3.豆丁文档 .知乎 如何用简单易懂的例子解释隐马尔可夫模型？
11 5 18 5 17 5
N步转移概率
• 称条件概率 (������) ������������������ = ������ ������
������+������
= ������|������������ = ������ ,
������, ������ ∈ ������, ������ ≥ 0, ������ ≥ 1
今/明（概率） 晴 阴 雨 晴 3/4 1/8 1/8 阴 1/2 1/4 1/4 雨 1/4 1/2 1/4
• 设������������������ 表示从状态������������ 转换到������������ 的概率，由此得转换矩阵������������×������ = ������������������ 的任一行的元素之和为1，即
分离出Q矩阵：
若������ = ，于是，������ = ������ − ������������×������
1 3
−1
0 ������ • ������ = 1 − ������ 0 0 1 − ������
0 ������ 0
=
7 5 6 5 4 5
3 5 9 5 6 5
1 5 3 5 7 5
为马尔可夫链 ������������ , ������ ∈ ������ 的������步转移概率 性质：齐次马尔可夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。
即：
������
������
= ������������
多步马尔科夫链例子
隐马尔可夫链（HMM）
隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链 随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生 观测随机序列的过程。