p0 1 ，请找出为了使该 Markov 链正常返， 所有的 pi 所应该满足的充要条件， 并计算其在
这种情况下的转移概率 .
解：根据题意知，要满足马尔可夫链为正常返约，当且仅当
j
i Py j =0，1，2...
i
有一组解 j >0,
j1
j
根据 Pi ,i 1 Pi 1 Pi ,i 1 ，方程可重写为
(b) 此出租汽车朝位置 2 开的极限概率是 1 p12 3 p32 ，为 3/14
32
(c)
2 p23t23
30 14 3
12
j p ji t ji 3 1 (30 20) 3 (1 20 2 30) 5 30 76
ij
72
14 3
3
14
8 转移矩阵称为双随机的， 若对于一切 j ， pij 1 ，设一个具有双随机转移矩阵的
j0
2
j 0
2
p j (1
p) 2 j
j0
j
故有 0
(1 p)2
2 p(1 p) 0
p2
2 0
解得 0
1 2 p(1 p) 1 4 p(1 p) 2p2
|1 2 p | 1 2 p 2 p2 2 p2
1 ( p 1)2
p2
因为 E[ X ] 2p ，根据定理 4.5.1 可知，
若 P 0.5 时 ， 0 =1
第三章 习 题 1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为
p ，乙胜的概率为 q ，平局的概率
为 r ，其中 p, q, r 0, p q r 1 ，设每局比赛后，胜者得 1 分，负者得 1分，平局不记
分，当两个人中有一个人得到 2 分时比赛结束，以 X n 表示比赛至第 n 局时甲获得的分数，
为 U n 的 函 数 ， 记 为 fn (U n ). 由 于 U 1,U 2,L ,U n ,L 相 互 独 立 ， 则 其 相 应 的 函 数
f1 (U 1), f 2(U 2), L , fn (U n), L 也相互独立，从而
P( X n
n
j X1 i1 , X 2 i2 ,L , X n 1 i ) P( Yi
100 0 0 qr p0 0 P 0qr p0 00q r p 000 01
（ 3）因为两步转移概率矩阵为
P(2) P 2
1 q rq
q2 0
0 r 2 pq
2rq q2
0 2 pr r 2 2 pq 2qr
0 p2
2 pr pq r 2
0
0
0
0
所以在甲获得 1 分的情况下，再赛 2 局甲胜的概率为
0
1q1
i
i 1Pi 1
i 1qi 1, i 1
则
i 1qi 1
i Pi , i 0
因此 i 1
0
P0 ....Pi q1....qi 1
,i
0
从而，随机游动为正常返约的充要条件是
P0.... Pi i 0 q1....qi 1
5 捕捉苍蝇的一只蜘蛛依循一个 Markov 链在位置 1，2 之间移动， 其初始位置是 1，转移矩
置 i 和位置 j 之间的平均时间是 t12 20,t13 30,t23 30 ，且 tij t ji .求
（1）此出租车最近停的位置是 i 的（极限）概率是多少？ i 1,2,3 ；
（2）此出租车朝位置 2 开的（极限）概率是多少？
（3）有多少比例的时间此出租车从位置 2 开到位置 3?
注意，以上均假定出租车到达一个位置后立即开出
是多少？
解：（ 1）根据题意可知，在捕捉过程中共有三个状态，我们分别令为 1，2，3
则 1={ 蜘蛛为 1，苍蝇在 2}
2={ 蜘蛛为 2，苍蝇在 1}
3={ 蜘蛛，苍蝇在同一位置 }
其中状态 3 也代表着捕捉结束，则转移概率矩阵为
0.28 0.18 0.54 0.18 0.28 0.54
001
（2）分别设 X n ， Yn 代表时刻 n 蜘蛛和苍蝇的位置。
故 P{ Rk 1 z | Rk ik , Rk 1 i k 1,...R1 i1} P{ Rk 1 z | j ik ik 1 ... i1}
P{ Rk 1 z | j ik} P{ Rk 1 z | Rk ik }
故 { Ri , i 1} 是一个马尔可夫链且
P{ Rk 1 z | Rk i k } P{ Xnk 1 z | X nk i k }
则 { X n , n 1} 是一齐冯马尔可夫链 .
（ 1）写出状态空间； （ 2）求一步转移概率矩阵； （ 3）求在甲获得 1 分的情况下，再赛
2 局甲胜的概率 .
解 （ 1） { X n , n 0} 的状态空间为
S { 2, 1,0,1,2}
（ 2） { X n , n 0} 的一步转移概率矩阵为
P ( X1 t1 …+ti 1 z, ti 1 ) ( X 1 t1 ? +ti i , t i )
j,j i 0, j i
故 ( Ri ,Ti ), i 1 是一个马尔可夫链。
4 考虑一个具有状态 0,1,2,L 的 Markov 链，其转移概率满足 pi ,i 1 pi 1 pi,i 1 ，其中
P >0.5
时，
0=
( p 1)2 p2
即0
1, p 0.5 ( p 1) 2, p 0.5
p
2
（b）Ⅱ ={ 第三代群体首次灭绝 }= p { 第三代群体首次灭绝 | x2 j } { x2 j }
j1
2
=
Ⅱ
j
j
C2
p
j
(1
p)2 j
j1
故Ⅱ =Ⅱ 2 p2 +2Ⅱ p(1 p)
*
（c）Ⅱ = p { 群体灭绝 }=
Pn
1
同理
'
Pn
=0.28
'
Pn
1 +0.18
Pn
1
且 P1 =0.28,
'
P1
=0.18
(3) 苍蝇被吃掉的概率为 P = P { 蜘蛛不动，苍蝇动 } ＋ P { 苍蝇不动，蜘蛛动 } 故 P ＝ 0.7*0.6+0.4*0.3=0.54 故捕捉过程的平均时间为 1.85
6 在一个分枝过程中，每个个体的后代个数服从参数为（ 开始，计算： （1）灭绝概率； （2）到第三代群体灭绝的概率；
p { 群体灭绝 | Z0 k } p{ Z 0 k}
k0
k
=
p { 群体灭绝 | Z0 k } e
k0
k!
k
=
k 0
e =e exp{
0 } =exp{ (1 2 p) p2 }
k 0 k!
7 一辆出租车流动在三个位置之间， 当它到达位置 1 时，然后等可能的去位置 2 或 3.当它到 达位置 2 时，将以概率 1/3 到位置 1，以概率 2/3 到位置 3.但由位置 3 总是开往位置 1.在位
0.7 0.3
阵为
，未觉察到蜘蛛的苍蝇的初始位置是
0.3 0.7
2，并依照转移矩阵为
0.4 0.6
的
0.6 0.4
Markov 链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉
.
（ 1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的
Markov
链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，
P(Yn P (Y1
j Y1 i1,Y2 i 2,L ,Yn 1 i)
P(Y1 i1, Y2 i2 ,L ,Yn 1 i ,Yn j ) P (Y1 i1 ,Y2 i2 ,L , Yn 1 i)
i1)P(Y2 i2 )L P(Yn 1 i )P (Yn P(Y1 i1,Y2 i 2,L ,Yn 1 i )
z} = a j , j
i （由于 X i 的独立性）
0, j i
故{ Ti ， i 1 } 是一个马尔可夫链
令 Zi ( Ri ,Ti ), i 1
则 P Zi 1 Zi , Zi 1,…, Z1
P ( Ri 1, ti 1) ( Ri ,ti ),( Ri 1, ti 1), …,( R1, t1)
i1
j X1 i1, X 2 i2 ,L , X n 1 i )
P( X n 1 Yn j X1 i1, X 2 i2 ,L , X n 1 i) P(Yn j i )
P(Xn j Xn 1 i)
因此 { X n, n 1,2,L } 是马尔可夫链 .
3 设 X i , i 1,2,L 是相互独立的随机变量，且使得
令 Pn P{ X n 1,Yn 2}
Pn' P{ X n 2,Yn 1}
则有 Pn P{ X n 1,Yn 2} =
P{ X n 1,Yn 2 | X n 1 1,Yn 1 2} Pn 1 + P{ X n 1,Yn 2 | X n 1 1,Yn 1 2} Pn' 1
=0.28
Pn
1 +0.18
'
.
解：根据题意有 P12 =1/2 ， P13 =1/2 ， P21 =1/3 ， P23 =2/3 ， P32 =0
t12 = t21 =20， t13 t31 =30， t23 =30
j
i pij
(a) 根据
i
i1

1
2
31
1
1 32
3
1 2 21
12 3 21 3 2
解得
3 17
3
2