f
(n) 00
1 n, 2
f 00
1 n 1, n 1 2

可见状态0为正常返，且是非周期，因而是遍历的。 因为 i 0 ，故 i 也是遍历的。
[例] （例4.11）设马氏链 { Xn } 的状态空间 I = { 1, 2, 3, 4,
5 } ，转移矩阵为P，试分析其闭集及不可约性。
③
1
⑤ ①
1
1/3
可见1为正常返且周期等于3.含1的基本闭集 C1={k:1→k}={1,3,5}
④
1/3
1/3
1
从而3及5为正常返且周期等于3.同理可知6为 正常返状态。μ6=3/2,其周期为1，含6的基本闭 集为 C2={k:6→k}={2,6}
②
1/2
⑥
1/2
[例] （例4.13）设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为
4
马尔可夫链
[例] 设{ Xn , nT }是一个马尔可夫链，其状态空
间 I = {a, b, c}，转移矩阵为 1 / 2 1 / 4 1 / 4
P 2 / 3 0 1 / 3 3 / 5 2 / 5 0 (1) P{ X 1 b, X 2 c, X 3 a, X 4 c X 0 c};
E[ X (t )] D[ X (t )] 0.5(1 coss)ds
0 t
1 0.5 t sin t
[例7] 设某路公共汽车从早上5时到晚上9时有车发出。
乘客流量如下：5时平均乘客为200人/时；5时至8时乘 客线性增加，8时达到1400人/时；8时至18时保持平均 到达率不变；18时至21时到达率线性下降，到21时为 200人/时。假定乘客数在不相重叠的时间间隔内是相互 独立的。求12时至14时有2000人来站乘车的概率，并 求出这两小时内乘客人数的数学期望。
[例4] 设{X1(t), t 0 }和{X2(t), t 0 }是两个相互独立的泊松过程，它们在单
位时间内平均出现的事件数分别为 1和2。记Wk(1)为过程X1(t)的第k次事件
到达时间， W1(2)为过程X2(t)的第1次事件到达时间，求 P{Wk(1)<W1(2)}，即 第一个泊松过程的第k次事件发生早于第二个泊松过程的第1次事件发生 的 概率。
(2) P{ X n 2 c X n b}
求：
解：
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
(1) P{X1 b, X 2 c, X 3 a, X 4 c X 0 c} P{X 0 c, X1 b, X 2 c, X 3 a, X 4 c} / P{X 0 c} P{ X 4 c X 3 a} P{ X 3 a X 2 c} P{ X 2 c X 1 b}
m X (t ) 0 a2 a2 R X ( s, t ) cos[ (t s )] cos , ( t s ) 2 2
例2
• 设 X (t) 为信号过程，Y (t) 为噪声过程，令 W (t) = X (t) + Y (t)，
则 W (t) 的均值函数为
其相关函数为
1 6
P ( 2)
17 30 2 8 P 15 17 30
9 40 3 10 3 20
5 24 1 6 17 90

[例] （例4.8）设马尔可夫链的状态空间 I = {1, 2, 3}，其转移概率矩阵为
0 P q2 p3
p1 0 q3
P{ X 1 b X 0 c} P{ X 0 c} / P{ X 0 c} Pac P P P ca bc cb 1 3 1 2 1 二步转移概率矩阵： 4 5 3 5 50
(2) P{X n2 c X n b}
P
( 2) bc
mZ (t ) 0
2 RZ ( s, t ) k eik ( s t ) k 1 n
3、泊松过程
[例1] 已知仪器在 [ 0 , t ] 内发生振动的次数 X(t) 是具有
参数的泊松过程。若仪器振动k (k 1)次就会出现故障， 求仪器在时刻 t0 正常工作的概率。
[解] 仪器发生第k振动的时刻Wk 就是故障时刻T ，则T 的概率分 布为 分布:
6 }，转移矩阵为P，试对其状态空间进行分解。
0 1 / 3 0 P 0 0 0
0 1/ 2 0 1 0 1 0
0 0 1 / 3 0 1 / 3 0 0 0 0 1 0 0 0 0 0 0 0 1/ 4 0 3 / 4 0 0 1/ 2
P{ X ( s) k , X (t ) X ( s) n k} P{ X (t ) n}
(s ) k e s [ (t s )]n k e ( t s ) k! ( n k )! n! s k (t s) nk n t (t ) e k!(n k )! tn n!
mW (t ) mX (t ) mY (t )
RW (t ) E{[ X ( s) Y ( s)][X (t ) Y (t )]} E[ X ( s) X (t )] E[ X ( s)Y (t )] E[Y ( s) X (t )] E[Y ( s)Y (t )] RX ( s, t ) RXY ( s, t ) RYX ( s, t ) RY ( s, t )
因为 I 含有闭子集，故马氏链 { Xn }不是不可约链。
[例] （例4.13）设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为
P，试分解此链并指出各状态的常返性及周期性。
1
由图知f11(3)=1,f11(n)=0,n≠3,所以
( 1 nf11n ) 3 n 1
t (t ) k 1 e , t0 fT (t ) (k 1)! 0 , t0
故仪器在时刻 t0 正常工作的概率为:
(t ) k 1 P P(T t0 ) e t dt t0 (k 1)! n k 1 t0 (t0 ) P[ X (t0 ) k ] e n! n 0
[例] （例4.9）设马氏链的状态空间 I = {0, 1, 2, …}，
其转移概率为
1 1 1 p00 , pi ,i 1 , pi 0 , i I 2 2 2 分析各状态的类型。
解：
f
(1) 00
先考查状态0，
1 , 2
f
( 2) 00
1 1 1 , 2 2 4
s C t
k n
k
s 1 t
nk
参数为 n 和 s/t 的二项 分布
[例3] 设在 [ 0 , t ] 内事件A已经发生 n 次，求第k次(k < n)
事件A发生的时间Wk 的条件概率密度函数。
P{s Wk s h X (t ) n}
P{s Wk s h, X (t ) n} P{ X (t ) n} P{s Wk s h, X (t ) X ( s h) n k} P{ X (t ) n} P{s Wk s h} P{ X (t ) X ( s h) n k} P{ X (t ) n}
P，试分解此链并指出各状态的常返性及周期性。
1
可见2是遍历状态。 由于f44(1)=1/3,f44(n)=0,n≠1,故4为非常返，周期 为1，于是I可分解为
③
1
⑤ ①
1
1/3
I D C1 C2
1/3
1
④
1/3
{4} {1, 3, 5} {2, 6}
②
1/2
⑥
1/2
[例] （例4.14）设不可约马氏链的状态空间 C = { 1, 2, 3, 4, 5,
fWk X (t ) (s n)
lim
h 0
n! s s 1 k (k 1)!(n k )! t t
h

k 1
nk
Beta分布பைடு நூலகம்
P{s Wk s h X (t ) n}
fWk (s) P{ X (t ) X (s) n k} P{ X (t ) n}
0t 3 200 400t , (t ) 1400, 3 t 13 1400 400(t 13) , 13 t 16
mX (9) mX (7) (t )dt 1400d 2800 t
7 7
9
9
28002000 2800 P[ X (9) X (7) 2000 ] e 2000 !
( p1q2 ) m 1 p1 p2 , n 2m, m 1 m n 2m 1, m 0 ( p1q2 ) q1 ,
( f11n )
n 1 0, p1 ( p2 q3 ) m 1 q2 q1 (q3 p2 ) m 1 p3 , n 2m, m 1 p ( p q ) m 1 p p q (q p ) m 1 q q , n 2m 1, m 0 2 3 1 3 2 2 3 1 2 3

[例2] 设在 [ 0 , t ] 内事件A已经发生 n 次，且0 < s < t，对
于0 < k < n ，求在 [ 0 , s ] 内事件A发生 k 次的概率。
P{X (s) k X (t ) n}
P{ X ( s) k , X (t ) n} P{ X (t ) n}