i1
Pi , j 0
j . i 1 ,i-1 , i 1
1 0 0 0 0 . .
q
0
p
0
0
.
.
0 q 0 p 0 . .
P
0
0
q
0
p
.
.
0 0 0 q 0 . . . . . . . . .
.
例题：带2个吸收壁的随机游动
质点在数轴上移动，规律同上例。随机游动的状态 空间I={0,1,2…a}, 其中0和a为吸收态 。求一步转移p12 p1n Pp21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有 如下性质：
1. pij 0, i, jI
2. pij 1, i, jI jI
满足上述两个性质的矩阵成为随机矩阵
.
定义4.4
称条件概率 p i(n ) j P { X m n j|X m i}i,j I,m 0 ,n 1 为马尔可夫链{Xn,n∈T}的n步转移概率，并称
0 1 1
.
马尔可夫链的状态分类
周期、非周期 常返、非常返
其中，常返分为正常返、零常返 非周期的正常返称为遍历状态
到达和互通
.
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}， 状态转移图如下图
8
9
2
7
1
3
6
5
4
观察状态1
.
定义4.6 如集合{n: n≥1,pii(n)>0}非空，则称该集合的 最大公约数d=d(i)=G.C.D{n:pii(n)>0}为状态i 的周期。如d>1就称i为周期的，如d=1就称i 为非周期的。
.
.
.
一个有限状态的马氏链,当满足
p(s) ij
0
条件时,
经过一段试验时间后,过程将到平稳(或平稳)状态,
此后过程那一个状态的概率不再随时间而变化.
.
.
.
(1) 解: 显然遍历
(0,1)(0,1)12//25
1/2 3/5
0
1
1 2
0
1 2
0
2 5
1
3 5
1
0 1
4/9 5/9
P{Xm2 0, Xm1 1,Xm 0}P{Xm1 1,Xm 0}
P{Xm1 1,Xm 0}P{Xm 0}
P{Xm2 0|Xm1 0,Xm 0}P{Xm1 0|Xm 0}
P{Xm2 0 | Xm1 1,Xm 0}. P{Xm1 1|Xm 0}
P{Xm2 0|Xm1 0}P{Xm1 0|Xm0} P{Xm2 0|Xm1 1}P{Xm1 1|Xm0}
.
解：设状态0代表有雨，状态1代表无雨， 则一步转移矩阵为：
P=PP1000
PP101100..74
0.3 0.6
P (4 )= P 4 = P P 1 0 0 0 P P 1 0 1 1 4 0 0 ..5 5 7 6 4 6 9 80 0 ..4 4 3 2 3 5 2 1 P P 1 0 ( (0 0 4 4 ) ) P P 1 0 ( (1 1 4 4 ) ) 所以今天有雨，第5天有雨的概率为：
由定义知,当n不能被d整除时,pii(n)=0
引理4.1 如i的周期为d，则存在正整数M，对一切n≥M， 有pii(nd)>0。
.
例题:设有4个状态的马尔可夫链,它的一步转移概
率矩阵为: 0 0 1/2 1/2
0
0
1/ 2
1
/
2
1/ 2 1/ 2 0 0
1
/
2
1/ 2
0
0
画出其状态传递图,该过程是否具有周期性?
. .
. .
. .
. . . . . . . .
.. . .
.
.
.
.
. . . . . . . .
..q
0
p
0
0
0
. . 0 q 0 p 0 0
. . 0 0 q 0 p 0
..0 ..0
00 0. 0
q 0
0 0
p 1
例题：天气预报问题
如果明天是否有雨仅与今日是否有雨有 关，而与过去的天气无关. 并设今日下雨，明 日有雨概率为0.7，今日无雨明日有雨的概率 为0.4，并把有雨称为0状态，无雨称为1状态。 则问：今日有雨且第5日仍有雨的概率为多少？
例题： 设某地区有1600居民，有甲、乙、丙三个工厂的产 品在该地区销售，据调查8月份买甲、乙、丙三个 工厂产品的户数分别为480，320，800，9月份调 查发现原买甲48户转买乙，96户转买丙；原买乙的 有32户转买甲，有64户转买丙；原来买丙的有64户 转买甲，有32户转买乙，估算9月份及12月份，甲、 乙、丙三个工厂的产品在该地区市场占用率。
第四章 马尔可夫链
1. 马尔可夫链定义 2. 一步转移概率及多步转移概率 3. 初始概率及绝对概率 4. Chapman-Kolmogorov（C-K）方程 5. 遍历的马尔可夫链及平稳分布 6. 马尔可夫链状态分类
.
时间、状态都是离散的马尔可夫过程，称 为马尔可夫链。 例如：天气预报
质点的随机游动
pp1011
求 P{Xm 20|Xm0}和两步转移概率矩阵P(2)
.
解：
P(2) 00
P{Xm2
0|
Xm
0}
P{Xm2 0, Xm P{Xm 0}
0}
P{Xm2 0, Xm1 0,Xm 0} P{Xm2 0, Xm1 1,Xm 0}
P{Xm 0}
P{Xm 0}
P{Xm2 0, Xm1 0,Xm 0}P{Xm1 0,Xm 0} P{Xm1 0,Xm 0}P{Xm 0}
.
例如：在某数字通信系统中传递0，1两种 信号，且传递需要经过若干级。因为系统中有 噪声，各级将造成错误，若某级输入0，1信号 后，其输出不产生错误的概率为p，产生错误 的概率为1-p，则该级的输入输出状态构成了 一个两个状态的马氏链。
.
马尔可夫链定义
设有随机过程{Xn,n∈T}，若对于任意的整数 n∈T和任意的i0,i1, …,in+1∈I，条件概率满足
P(4) 00
0.5749
.
定义： 称 pj(n )P {X nj}(,j I)为n时刻马尔 可夫链的绝对概率；
称 P T (n ) { p 1 (n ),p 2 (n ),L } , n 0为n时刻的 绝对概率向量。
.
定义： 称 pj(0 )P {X 0j} ,(j I)为马尔可夫链的 初始概率；简记为 p j
P(n) (pi(jn))
p(n) 11
p(n) 21
L
p(n) 12
L
p(n) 22
L
LL
p(n) 1m
p(n) 2m
L
L
L L
为马尔可夫链的n步转移矩阵。规定
p(0) ij
0, 1,
i j .i j
例题
设马尔可夫链{Xn,n∈T}有状态空间I={0,1}， 其一步转移概率矩阵为
P
p00 p10
3. P(n) P(P n1)
4. P(n) Pn
.
（1）证明
P (n) ij
P{X
mn
j|Xm
i}
P { X m n j, X m i} P{ X m i}
P { X m n j, X m l k , X m i}
kI
P{ X m i}
P { X m n j, X m l k , X m i} P { X m l k , X m i}
1. pj(n) pipi(jn) iI
2. pj(n) pi(n1)pij i I
3. PT(n)PT(0)P(n)
4. PT(n)PT(n1)P
证明
.
定理4.3
设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和 n≥1，有
证明
P { X 1 i1 , ,X n in } p ip i1 i p in 1 in i I
U P{X1 i1,...X1 in}P( {X0 i , X1 i1,...X1 in})
iI
PX0 i ,X1 i1,...X1 in} iI
P{X0 i}P{X1 i1| X0 i}...P{Xn in | Xn1 in1} iI
P{X0 i}pii1...pin1in iI
pi pii1...pin1in . iI
解:
.
0 0 1/2 1/2
0
0
1/ 2
1
/
2
1/ 2 1/ 2 0 0
1
/
2
1/ 2
0
0
所有状态周期为2
.
状态转移图
1
1
1/2
1
2
3
4
1/2
1
状态2和3具有相同的周期,但是状态 2,3有区别.为此引入常返性的概念。
.
首中概率
它表示质点由i出发，经n步首次到达j 的概率， 表示为
fi( n j ) P (X m v j,1 v n 1 ,X m n j|X m i)
称 PT(0)(p1,p2,) 为马尔可夫链的初始 概率向量。
.
例题： 设马尔可夫链有k个状态，已知第n-1时刻的 绝对概率向量 PT (n 1) 为
(p 1 ( n 1 )p , 2 ( n 1 ) ,,p k ( n 1 ))
求第n时刻绝对概率向量。
.
.
定理4.2 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和 n≥1，绝对概率pj(n)具有下列性质：