j 1
k j
jI
的唯一非负解，此时称{j >0，jI }是该
过程的平稳分布，并且有
lim
t
pj
(t)


j
(2)若它是零常返的或非常返的，则
lim
t
pij (t)

lim
t
pj (t)

0,
i, j I
定理：不可约链是正常返的充要条件是它存在 平稳分布，且此时平稳分布就等于极限分布。
n+1
n
n+1 n
{ ( ) ( ) ( ) } ( ) ( ) \ P X t n +1 = in +1 / X t1 = i1, L , X t n = in = P {X t n +1 = in +1 / X t n = in }
即具有马尔可夫性
证：齐次性，当j i时，由泊松过程定义
PX s t j / X s i
注：虽然前进方程和后退方程在形式上有所不同， 但两者的解都是同一的，费勒在1940年已证明。
例：考虑两个状态的连续时间马氏链，在转移 到状态1之前马氏链在状态0停留的时间是参数
为的指数变量，而在回到状态0之前，它停留 在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
ìïïíïïïî

pij
t q
jj
称为前进方程
或
dPt
dt

QPt
Pt Q

Pt
eQt



j0
Qt j
j!
在实际应用中，当固定最后所处状态j，研究pij t 时i 0,1,, N ，采用向后方程较方便，解出prj t， r I；当固定状态i，研究pij t时， j 0,1,2,, N 则采用向前方程较方便，解出pir t,r I。
记：p (t ) = ij
P
{X (t ) =
j
| X (0) =
i }为转移概率.
( ) ( P (t ) = p (t ) ，i, j 纬I , t ij
0)为转移矩阵。
å (1) pij (t ) ? 0, pij (t ) 1
jÎ I
(2)
CK
方程：p ij
(t
+
s)=
å
p ik
(t
)p kj
称Q为保守矩阵，对应的马尔可夫过程为保守的。
三.前进方程与后退方程
定理：设X t,t 0，I 1,2,, N为连续参数
有限马氏链。
则
dpij t dt

k i
qik
pkj t
qii
pij
t
称为后退方程
dpij t dt

k
j
pik
t qkj
28
例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作， 或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空， 则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间 服从参数为λ的指数分布；每台修理的机床修理好的时间为参数为μ的指数 分布。用X(t)表示时刻t损坏的机床台数，则{X(t)，t 0}是状态空间 E={0,1,2， m}的时间连续的生灭过程。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
( ) p h
( ) 即 : 1 q = lim ij (= p ' (0))
ij
h® 0 h
ij
i? j
( ) 1 - p h
( )2 q = lim
ii (= - p ' (0))
ii
h® 0
h
ii
往往给出如下式子：
pij (h ) = l h + o (h )
rI
r j
rI

dpij t
dt

N
1 pij
t
1
pij
t

Npij t 1
pij t
ce Nt

1. N
i, j 1,2,, N
利用初始条件：pii 0 1，pij 0 0i j
当i

j时，c
p 01
p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
ìïïíïïïî
p01 p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
q = lim p01 (h ) = l
h 01
h0
Q = 骣çççç桫-ml
q = lim p10 (h ) = m
h 10
n
n+1 n
另一方面
{ ( ) ( ) } ( ) ( ) ( ) ( ) P X t n +1 = in +1 / X t n = in = P {X t n +1 - X t n = in +1 - in / X t n - X 0 = in }
( ) ( ) = P {X t - X t = i - i }
h0
l -
m÷÷÷÷÷
由柯尔莫哥洛夫前进方程：
P't PtQ

p00 t p10 t

p01t p11t



p00 p10
t t

p01 p11
t t



\
p¢ 00
(t
)
=
mp 01
(t
)
-
l
p 00
29
由柯尔莫哥洛夫向前方程的矩阵形式可得
例题（理发店问题）：一个理发店有一位理 发师，两个等待座位，顾客的到达率为每 小时5个，理发师一小时可给两个人理发。 假定顾客到达为泊松分布，理发师的服务 时间为指数分布，用X(t)表示理发店内的顾 客数，则X(t)为生灭过程。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约的，则有下列性质：
(im
是t
pij (t)
存在
jqjj kqkj ,
其状态空间为I {0,1, 2, }，i为出生率，i为死亡率。
若i =i，i i，称{X (t),t 0}为线性生灭过程。
若i =0，称{X (t),t 0}为纯生过程。
若i =0，称{X (t),t 0}为纯灭过程。
27
例题（M/M/s排队系统）：顾客到达为参数为λ的泊松过程，系统内有s个 服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独立。 用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程
n+1
n+1
1
1
n
n
( ) ( ) ( ) ( ) ( ) ( ) = P {X tn+1 - X tn = in+1 - in | X t1 - X 0 = i1,L , X tn - X tn- 1 = in - in- 1}
{ } ( ) ( ) = P X t - X t = i - i
n+1
生灭过程
设马氏链{X (t), t 0}具有转移概率
pii1(h) ih 0(h), i 0

pii
1
(h)

ih 0(h), i

0, 0

0

pii
(h)
1
(i

i
)h

0(h)
pij (h) 0(h), i j 2
称{X (t), t 0}为生灭过程。
p01 t 0 1 e t
p11 t

0

e t 0
p10 t 0 1 e t
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
第五章 连续时间的 马尔可夫链
内容
连续时间的马尔可夫链 柯尔莫哥洛夫微分方程
5.1 连续时间的马尔可夫链
一、定义和一般性质
为方便计，以下设参数集T 0,，状态空间
I 0,1,2, 定义：随机过程X t,t 0状态空间I 0,1,2,
若对任意0 t1 t2 tn1及非负整数 i1,i2 ,,in1 I有：

PX s t
X s
j

i

et
t j
ji
i!
当j i时由过程增量仅取非负整数，
故 pij s,t 0

pij
s, t

pij
t

et
t ji j i!,
0,
与s无关，所以是齐次的。
j i,t 0 ji
定理：设连续参数齐次马氏链满足正则性条件，则：
1pii (t) 0，t 0； 2若有t0使pij (t0 ) 0，则对一切t t0均有pij (t) 0；
3pij (t)是0,上的一致连续函数。
二.Q矩阵 对连续参数马氏链而言，担当一步转移概率
角色的是转移强度，它是用转移概率函数在0点 的导数来定义的。
在每个状态的停留时间是指数分布 ，参数可能不同。