w1 (1 a ) w1 bw2 w2 aw1 (1 b) w2 w w 1 2 1
得
b a w( , ) ab ab
1 1 w( , ) 2 2
1 / 2 1 / 2 P 1 / 2 1 / 2
n
an (1 / 2,1 / 2)
P 为正则矩阵。
由
0 p 1,
an a0P
w wP
令
k i 1
n
求 w=?
i
w 1
设
1 a a P b 1 b
w (w1 , w2 )
a 1 a w wP (w1 , w2 ) b 1 b
((1 a)w1 bw2 , aw1 (1 b)w2 )
P N 的每一
定理2 正则链存在唯一的极限状态概率 w w1 , w2 ,, wk ,
使得当 n 时状态概率 an w , w 与初始状态 概率 a0 无关。 w 又称为稳态概率。
由 an 1 anP
wP w,
由 an a0P
n
w
i 1


？ ？
4 a2 (n) 9
1 1 n 1 5 5 5 a1 (n) 2 n 5 ( 10 ) 5 10 10 10 9 10 1 1 10
n
0
1
2
3
4
0
1
0.4 0.44 0.444 0.4444
0.6 0.56 0.556 0.5556

0.5 0.5 P 0.4 0.6
1 5 4 Q 1 1
1 0 D 0 1 / 10
4 9 Q 1 4 9
5 9 4 9

1 5 1 n n 1 4 P QD Q 1 1 0
X n 称为这个经营系统的状态。
用 ai n表示第 n 月处于状态 i 的概率， i 1,2 , 即
ai n P X n i
ai n 称为状态概率。
pij 表示已知这月处于状态 i ，下月处于状态
i 的概率， , j 1,2, 即
j
pij P X n1 j | X n i
n
k
i
1
lim P n 存在，记作 P
pij wi 那么，有
P 的每一行都是稳态概率 w
P { pij } 如果记
上例中
4 5 w( , ) 9 9
P

4 9 4 9
5 9 5 9
从状态 i 出发经 n 次转移，第一次到达状态 j 的概 率称为 i 到 j 的首达概率，记作 f ij n ，于是
令 an a1 n, a2 n, P pij
p12 p22

22
an 1 anP
P 概率转移矩阵
an 1 anP an 1P 2 a0Pn1
4 求解
an a0Pn
P 特征值为1，1/10ห้องสมุดไป่ตู้
pij 称为状态转移概率。状态及转移情况见图。
0.5
0.5
1
2
0.6
0.4
3 建模
a2 n 1 a1 n p12 a2 n p22
a1 n 1 a1 n p11 a2 n p21
p11 a1 n 1, a2 n 1 a1 n, a2 n p 21
马氏链简介 （Markov Chain）
马氏链简介
马氏链（Markov Chain）是随机过程的一个特例，
专门研究无后效条件下时间和状态均为离散的随
机转移问题，但在建模过程中采用线性代数的方
法，因此，也在线性代数模型中来学习。
一 正则链（Regular Chain） （一 ） 商品的经营问题 某商店每月考察一次经营情况，其结果用
c (a b
j 1 ij j 1
n
n
i1 1 j
ai 2b2 j ainbnj ), (i 1,2,, n)
n n
ai1 b1 j ai 2 b2 j ain bnj
j 1 j 1 j 1
n
ai1 1 ai 2 1 ain 1 1
ij nfij n
n 1

为由状态 i 第一次到达状态 j 的平均转移次数。
特别地， ij 是状态 i 首次返回的平均转移次数。
ij 与稳态概率
w 有密切关系，即
定理3 对于正则链
ij 1/ wi
（二 ） 信息传播问题 一条消息在 a1 , a2 ,, an , 等人中传播，传播 的方式是 a1 传给 a2 , a2 传给 a3 ,
4 0 9 1 4 9 10 n
5 9 4 9

当
n
P
n
4 9 4 9
5 9 5 9

5 9 5 9
4 9 a1 (n) a2 (n) a1 (0) a2 (0) 4 9

4 5 a1 (0) a2 (0) (1 0) a1 (n) a2 (n) ( ) 9 9 4 5 a1 (0) a2 (0) (0 1) a1 (n) a2 (n) ( ) 9 9
定义1 一个有 k 个状态的马氏链如果存在正整数 N 使从任意状态 i 经过 N 次转移都以大于零的概率到 达状态 ji , j 1,2,,k ，则称为正则链。 特点： 从任意状态出发经过有限次转移都能到达另 外的任意状态。 定理1 若马氏链的转移矩阵为 P ，则它是正则链的 充要条件是，存在正整数 N 使 P N （指 0 元素大于零）。 （用这个定理检验一个马氏链是否为正则链。）
结论 长时间传播消息的真实性趋于稳定，且消
息的真假概率各半。
1 1 / 2 1 / 2 例1 中 P 2 / 5 1 2 / 5 4 b 2/5 w1 9 a b (1 / 2) (2 / 5)
5 w2 9
过程，通常用马氏链（Markov Chain）模型描述。
马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随机转移过程，还可以
处理一些确定性系统的状态转移问题。
一般地，一个行向量 P ，当它的所有分量是非负， 且行和为1，称此向量为概率向量。 每行都为概率向量的矩阵，称为概率转移矩阵。
表示消息假； 表示消息真；
n 0,1,2
用 ai n 表示第 n 个人处于状态 i 的概率， i 1,2 ,
即状态概率为 a(n) (a1 n, a2 n) 由题意，状态转移概率矩阵为
1 p p P p 1 p
1 p p P p 1 p
销路好或销路坏这两种状况之一表示。已知如
果本月销路好，下月仍保持这种状况的概率为
0.5；如果本月销路坏，下月转变为销路好的概
率为0.4。试分析假若开始时商店处于销路好的
状况，那么经过若干月后能保持销路好的概率
有多大？若开始时商店处于销路坏的状况呢？
1 分析
n
0
1 0
1
2
3
4
0.5 0.45 0.445 0.4445 0.5 0.55 0.555 0.5555
5 结论 不论初始状态如何，经过相当长的时间后
经营状态趋于稳定的概率。
注意到 经营系统在每个时期所处的状态是随机的，但从 这个时期到下个时期的状态按照一定的概率进行 转移，并且下个时期的状态只取决于这个时期的
状态和转移概率，与以前各个时期的状态无关。
这种性质称为无后效性，或马尔可夫（Markov）性， 即已知现在，将来与历史无关。 具有无后效性的，时间、状态均为离散的随机转移

如此继续下去，每次传播都是由 a i 传给 ai 1 , 每次传播消息的失真率为
p, 0 p 1,
即 a i 将消息传给 ai 1 , 时，传错的概率为 p
这样经过长时间传播第n个人得知消息时，消息
的真实程度如何？
第n个人知道消息可能是真，也可能是假，
有两种状态，记为
Xn 1 Xn 2
而AB=C的第 i 行，第 j 列元素为
cij ai1b1 j ai 2b2 j ainbnj , (i, j 1,2,, n)
显然，cij 0
n n
c (a b
j 1 ij j 1
i1 1 j
ai 2b2 j ainbnj ), (i 1,2,, n)

？
？
4 4 4 a1 (n) 2 n 10 10 10
5 a2 (n) 9
1 1 n 1 4 4 ( 10 ) 9 10 1 1 10
2 符号说明 商店的经营状况是随机的，每月转变一次。 建模目标是经过一段时间（若干月）后，经营状 况如何，即经营好或经营坏的概率分别为多少？ 用随机变量 X n 表示第 n 个月的经营状况 X n 1 表示销路好； n 0,1,2 X n 2 表示销路坏；
0.5 0.5 P 0.4 0.6
可证明 若A,B为概率转移矩阵，则AB也为概率转移矩阵。 若 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。
证明
若A,B为概率转移矩阵，
1, aij 0
a
j 1
n
ij
b
j 1
n
ij
1, bij 0, (i 1,2,, n)