5 。 16
故 P20 P{ X 4 0 X 0 2}
4
例 5.3 广告效益的推算 P82
某种鲜奶 A 改变了广告方式， 经调查发现买 A 种鲜奶及另外三种鲜奶 B,C,D 的顾客每两 个月的平均转换率（假设市场只有此四种鲜奶）如下：
A A,95%; B, 2%; C , 2%; D,1% B A,30%; B, 60%; C , 6%; D, 4% C A, 20%; B,10%; C , 70%; D, 0% D A, 20%; B, 20%; C ,10%; D,50%
解：根据题设要求求解 P 20 P{ X 4 0 X 0 2} 。首先写出一步转移矩阵
1 1 2 P 0 0
0 0 1 2 0
0 1 2 0 0
0 0 1 2 1 44
利用 C-K 方程（2）的方法得到
-3-
P (4)
1 0 0 0 5 1 0 5 8 16 16 P4 5 1 5 0 16 8 16 0 0 0 1
赖于现在的状态，这称为 Markov 性。
定义 5.2 转移概率：定义 5.1 中的条件概率 P{ X n1 j X n i} 代表处于状态 i 的过程
下一步转移到状态 j 的概率，称为 Markov 链 { X n , n 0,1, 2,} 的一步转移概率，简称为转 移概率。 注：一般情况下，转移概率 P{ X n1 j X n i} 与状态 i, j 及时刻 n 有关。 注：由定义 5.1 中的概率方程可进一步推导得到如下方程
P
jS
ij
1, i S 。
以 P 记转移概率 Pij 的矩阵，则有
P00 P P 10 P20
P01 P 11 P21
P02 P 12 P22
定义 5.4 随机矩阵 ：若一矩阵中的元素满足两条性质： （1） P （2 ） ij 0, i, j S ；
显然， Markov 链的统计特征由其初始分布 P{ X 0 i0 } 和转移概率 P{ X k i X k 1 ik 1} （ k 1, 2,, n ）决定。
定义 5.3 时齐 Markov 链： 当 Markov 链的转移概率 P{ X n1 j X n i} 只与状态 i, j 有
（2）证明： （2）是（1）的矩阵形式。由（2）的结论可推得
P( n) P P( n1) Pn
例 5.2 赌徒输光问题（例 5.1） ：设例 5.1 中赌徒从 2 元赌金开始赌博， n 3 （即当赌
金为 0 或 3 元时停止赌博） ，pq
4
1 。求他经过 4 次赌博之后输光的概率。 2
假设当前四种鲜奶的市场份额为 (vA , vB , vC , vD ) (25%,30%,35%,10%) ， 试求半年后 鲜奶的市场份额。 解：根据题设首先可写出一步转移概率矩阵
0.95 0.02 0.02 0.01 0.3 0.6 0.06 0.04 P 0.2 0.1 0.7 0 0.2 0.2 0.1 0.5
P{X n1 j X n i, X n1 in1 ,, X1 i1 , X 0 i0 } P{X n1 j X n i}
这样的随机过程称为 Markov 链。概率方程可解释为，对 Markov 链，给定过去的状态
X 0 , X1 ,, X n1 及现在的状态 X n ，将来的状态 X n 1 的条件分布与过去的状态独立，只依
m n
-5-
n n Piim n Pikm Pki Pijm Pji 0 kS
对所有使得 Pjj 0 的 s ，有
s
ns ns s n s n Piim s n Pikm Pki Pijm Pji Pijm Pjk Pki Pijm Pjj Pji 0 kS kS
金为 0（输光）或为 n 元时停止。 这一过程的状态为 S {0,1, 2,, n} ，其转移概率
P00 Pnn 1, Pi ,i 1 p, Pi ,i 1 q, i 1, 2, n 1
1 0 0 0 0 0 0 q 0 p 0 0 0 q 0 0 P 0 0 p 0 0 0 q 0 p 0 0 0 0 0 0 1 ( n 1)( n 1)
定义 5.5 n 步转移概率： 定义 n 步转移概率 Pij 为处于状态 i 的过程经过 n 次转移后处于
状态 j 的概率，即
n
Pijn P{X mn j X m i}, i, j S , m 0, n 1
-2-
0 相应地， n 步转移概率矩阵记为 P ( n ) 。其中， P ij P ij ；且规定 P ij

kS kS
P{ X m n j X m k , X 0 i}P{ X m k X 0 i}
Markov链的定义 n Pikm Pkj kS
P{ X m n j , X m k , X 0 i} P{ X m k , X 0 i} P{ X 0 i} P{ X m k , X 0 i}
利用 C-K 方程计算得到半年后的转移概率矩阵
P (3)
0.8894 0.60175 3 P 0.4834 0.5009
0.0182 0.04355 0.1388 0.36584 0.01196 0.2134 0.14264 0.14306 0.0458 0.2559 0.0466 0.0988
结合市场份额 可进一步计算得到半年后的鲜奶市场份额
' P(3) (0.624,0.15814,0.183318,0.034542)
对比半年前后的市场份额可发现，A 种鲜奶的广告效益明显。
5.2 状态分类及性质
n 定义 5.6 互通： 若存在 n 0 使得 P 则称状态 i 可达状态 j（ i, j S ） ， 记为 i j ； ij 0 ，
为空集，则称 i 的周期为无穷大。 注：不是对于所有的 kd , k 1, 2,都有 P ii 0 。
kd
例 5.4 考察 Markov 链的周期
7 5
6 1
9
2 4
3
8
如图所示，由状态 1 出发再回到状态 1 的可能步长为（4，6，8，10，…） ，它的最大公 约数为 2。尽管从状态 1 出发经 2 步并不能回到状态 1，但我们仍然称 2 是状态 1 的周期。 命题 5.2 若状态 i, j 属于同一类，则 d (i) d ( j ) 。 证明：由类的定义可知 i j ，即存在 m, n 0 使得 P ij 0, Pji 0 ，则
第五章 马尔可夫链
有一类随机过程，它具备所谓的 “无后效性” （Markov 性） ， 即要确定过程将来的状态， 知道它此时刻的情况就足够了， 并不需要对它以往状况的认识， 这类过程称为 Markov 过程。 Markov 过程的两类基本类型包括离散时间 Markov 链和连续时间 Markov 链。 注：以下几节我们首先讨论的离散时间 Markov 链，简称 Markov 链。
m n m, n 0 使得 P ij 0, Pjk 0 ，利用 C-K 方程（1）可知
n n Pikm n Pirm Prk Pijm Pjk 0 rS
K 类似地可以证明存在 K 0 使得 Pki 0 。
称互通的两个状态属于同一个类，且由命题 5.1 可知，任何一个状态不能同时属于两个 不同的类，即任意两个不同的类不相交。 思考：对例 5.1 中的赌徒问题的状态分类？ 定义 5.7 可约：若 Markov 链只存在一个类，则称它为不可约的；否则称为可约的。 在不可约的 Markov 链中，一切状态都是彼此互通的。
若同时有状态 j i ，则称两种状态是互通的，记为 i j 。
命题 5.1 互通是一种等价关系，即
-4-
（1）自返性， i i ； （2）对称性， i j ，则 j i ； （3）传递性， i j, j k ，则 i k 。 证明： （1 ） （2）可从互通的定义直接得到。为证明（3） ，假设 i j, j k ，则存在
关，而与时刻 n 无关时，称 Markov 链为时齐的，并记 P ij P{ X n 1 j X n i} ；否则，说
-1-
就称之为非时齐的。 注：本课程的讨论仅限于时齐 Markov 链，并简称为 Markov 链。 转移概率 Pij 的性质： （1） P ij 0, i, j S ； （2）
( m n )
P( m ) P( n )
P{ X m n j , X 0 i} P{ X 0 i}
（1）证明：
Pijm n P{ X m n j X 0 i}
全概率公式
பைடு நூலகம்
kS
P{ X m n j , X m k , X 0 i} P{ X 0 i}
P
jS
ij
1, i S 。则称该矩阵为随机矩阵。
显然，随机矩阵的各行元素之和都等于 1。
例 5.1 赌徒输光问题 ：考虑一赌徒，在每局赌博中他以概率 p 赢得 1 元，以概率
q 1 p 输掉 1 元，假设各局赌博是相互独立的，赌徒开始有 i （ 0 i n ）元，且他在赌
5.1 基本概念
定义 5.1 Markov 链：随机过程 { X n , n 0,1, 2,} 称为 Markov 链，若它只取有限或可
列个值 E0 , E1 , E2 , ，这个可能取值的集合将以非负整数集 {0,1, 2,} 来表示。{0,1, 2,} 或其子集记为 S ，称为过程的状态空间。若 X n i ，就说过程在时刻 n 时刻处于状态 i ，假 设每当过程处于状态 i ，则在下一时刻将处于状态 j 的概率是固定的 Pij 。对任意的 n 0 及 一切状态 i0 , i 1 ,, in1 , i, j 有