练习四：马尔可夫链 随机过程练习题
1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，
在其它整数点分别以概率
3
1
向左、右移动一格或停留在原处。
求质点随机游动的一步和二步转移的概率矩阵。
2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p ，对于2≥n 求，令n X =0，
1，2或3，这些值分别对应于第1-n 次和第n 次抛掷的结果为（正，正），（正，反），
（反，正）或（反，反）。
求马尔可夫链},2,1,0,{ =n X n 的一步和二步转移的概率矩阵。
3．设}0,{≥n X n 为马尔可夫链，试证： （1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ }|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++
（2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P
}|,,,{111100++=====n n n n i X i X i X i X P ==⋅+++m n n n X i X P ,,{22 }|11+++=n n m n i X i
4．设}1,{≥n X n 为有限齐次马尔可夫链，其初始分布和转移概率矩阵为==0{X P p i
4,3,2,1,4
1}==i i ，⎪⎪⎪⎪
⎪⎭
⎫ ⎝⎛=4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P ，试证 }41|4{}41,1|4{12102<<=≠<<==X X P X X X P
5．设}),({T t t X ∈为随机过程，且)(11t X X =，,),(22 t X X = ),(n n t X X =为独
立同分布随机变量序列，令2,,)(,011110≥=+===-n X cY Y X t Y Y Y n n n ，试证
}0,{≥n Y n 是马尔可夫链。
6．已知随机游动的转移概率矩阵为⎪⎪⎪⎭
⎫ ⎝⎛=5.005.05.05.0005.05.0P ，求三步转移概率矩阵)
3(P 及
当初始分布为1}3{,0}2{}1{000======X P X P X P 时经三步转移后处于状态
3的概率。
7．已知本月销售状态的初始分布和转移概率矩阵如下：
（1）)4.0,2.0,4.0()0(=T
P ，⎪⎪⎪⎭
⎫ ⎝⎛=6.02.02.02.07.01.01.08.08.0P ；
（2）)3.0,3.0,2.0,2.0()0(=T
P ，⎪⎪
⎪
⎪
⎪
⎭
⎫
⎝
⎛=5.02.01.01.02.06.01.01.01.02.06.01.01.01.01.07.0P ；
求下一、二个月的销售状态分布。
8
后的销售状态分布。
10．讨论下列转移概率矩阵的马尔可夫链的状态分类。
（1）⎪⎪⎪⎪⎪
⎪⎭
⎫ ⎝⎛=010
06.04.000000
010
0003.07
.0005.03.02.0P ；（2）⎪⎪⎪⎪
⎪⎭
⎫ ⎝⎛=02.02.06.00
07.03.000010100
P ； （3）⎪⎪⎪⎪⎪⎪
⎪⎪
⎭
⎫
⎝
⎛=10000000
00001
p r q p r q p
r q P ，其中1=++p r q ，},,1,0{b I =
11．设马尔可夫链的转移概率矩阵为（1）⎪⎪⎭⎫
⎝⎛3/23/12/12/1；（2）⎪⎪⎪⎭
⎫
⎝⎛33221
10
00p q
q p q p ；计算)(11n f ，)
(12
n f ，3,2,1=n 12．设马尔可夫链的状态空间}7,,2,1{ =I ，转移概率矩阵为
⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛=2.08.0000007.03.000000003.05.02.000006.004.0000004.06.0001.01.01.02.02.03.01.01.01.01.001.02.04.0P
求状态的分类及各常返闭集的平稳分布。
13．设马尔可夫链的转移概率矩阵为⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛= 00000010221
1p q p q P ，求它的平稳分
布。
14．艾伦菲斯特(E renfest)链。
设甲乙两个容器共有N 2个球，每隔单位时间从这N 2个球中任取一球放入另一容器中，记n X 为在时刻n 甲容器中球的个数，则}0,{≥n X n 是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。
15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以)(n X 表示经过n 次交换后甲盒中红球数，则}0),({≥n n X 为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明}0),({≥n n X 是遍历链；（3）求
2,1,0,lim )(=∞
→j P n ij n 16．设}1),({≥n n X 为非周期不可约马尔可夫链，状态空间为I ，若对一切I j ∈，其一步转移概率矩阵满足条件：
1=∑∈I
i j
i p
，试证（1）对一切I j ∈，1)(=∑∈I
i n j i p ；（2）
若状态空间},,2,1{m I =，计算各状态的平均返回时间。
17．设河流每天的BOD （生物耗氧量）浓度为齐次马尔可夫链，状态空间}4,3,2,1{=I 是按BOD 浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）
为⎪⎪
⎪
⎪
⎪
⎭
⎫
⎝
⎛=4.04.02.001.06.02.01.01.02.05.02.001
.04.05.0P 。
若BOD 浓度为高，则称河流处于污染状态。
（1）证明
该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间4μ。
答 案
1．解：质点随机游动的一步转移的概率矩阵为
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎣⎡=100003/13/13/10003/13/13/10003/13/13/100001
P
质点随机游动的二步转移的概率矩阵为。