X (n) i 有关，而与以前的状态 X(n 1 ) in1 ，…， X( 0 ) i0 无关。
一、连续时间马尔科夫链的有关定义及其性质
现在讨论时间连续状态离散的马尔可夫过程，取时间参数 t 0 ，状态空间 I={0,1,2,…} 定义 4.17 设随机过程 { X (t ), t 0} 的状态空间为 I={in，n0}，若对任意的 0t1<t2<…<tn<tn+1，及 i1 , i2 ,
pij ( s,t ) P{ X (t s ) j | X ( s ) i }
它表示系统在 s 时刻处于状态 i，经过时间 t 后转移到状态 j 的转移概率。 若上述概率与 s 无关，则称连续时间马尔科夫链为齐次马尔科夫链，此时转移概率简 记为
pij ( s,t ) pij (t )
定义 4.16 设随机过程 { X(t),t T } ，其中时间 T={0,1,…}，状态空间 I={0,1,2,…}， 若对任一时刻 n，以及任意状态 i0 ,i1, ,in1,i,j ，
1 2014 年 12 月 11 日星期四 大连海事大Байду номын сангаас数学系
第五章 连续时间马氏链
有 P{ X(n 1 ) j | X(n) i, X(n 1 ) in1 ,
定义 4.18 对于任一 t0，记
p j (t ) P{ X (t ) j }
p j p j (0) P{ X (0) j }, j I
分别称 { p j (t ), j I } 和 { p j , j I } 为齐次马氏链的绝对概率分布和初始概率分布。 性质 2：对任意 0 t0 t1 tn ， i0 ,i1, ,in I ，有
t 0
lim
1 pii ( t) qii ， （ 0 qi ） ，并且对任意 t 0 ，有 t
0
1 pii (t) qii t
（2） lim
t 0
pij ( t) t
qij
qij
证明：略。 注 1：若 qii 0 ，则有 pii(t) 1 即 i 为吸收态。 注 2：当 | t | 较小时
p00 ( h) ，或 p01 (h), p10 (h), p11 (h)
（2）在时刻 t，机器正常工作的概率是多少？ p0 (t )
转移概率 绝对概率
机器维修问题 2 设有 m 台机床，s 个维修工人（s<m） 。机床或者工作，或者损坏等待修理，机床损坏 后，空着的维修工人立即来修理，若维修工人不空，则机床按先坏先修排队等待维修。 假定在 h 时间内，每台机床从工作转到损坏的概率的 t t ，每台修理的机床转到 工作的概率为 t (t ) 。 当已知 m，，后，怎样合理安排维修工人人数 s？
（j=1，2，…，n）
研究的问题：无论从哪个状态出发，经过时间 t 转移到状态 j 的概率。 如何求 P(t)，在实际问题中往往是很困难， 但考虑到密度矩阵 Q (qij ) ，是由
P(t) (pij ) 在 t 0 的导数组成，所以实际问题中先得到 (qij ) ，再算 P(t) 。
注 2：费勒已经证明了向后方程与向前方程有同一解 pij (t ) ，但具体应用哪一个方程 组求解，要看具体问题而定。 例 3 两状态链 机器维修问题 1 设状态 0 代表某机器正常工作，状态 1 代表机器出故障。在 h 时间内，机器由正常工 作变为出故障的概率为 p01 (h) 1 e 变为正常工作的概率为 p10 (h) 1 e
第五章 连续时间马氏链
4.5 连续时间马尔科夫链
应用实例
机器维修问题 1 设状态 0 代表某机器正常工作，状态 1 代表机器出故障。在 h 时间内，机器由正常工 作变为出故障的概率为 p01 (h) h o(h) ； 在 h 时间内， 机器由故障经修复后变为正常工 作的概率为 p10 (h) h o(h) 。 研究的问题： （1）在 t=s 时正常工作，在 t=s+h 时仍然正常工作的概率是多少？
故叫做连续时间齐次马氏链的切普曼—柯尔莫哥洛夫方程
例 1 考虑一个电话总机接到的呼唤流，以 X(t) 表示这个总机在[0，t]中接到的呼唤次 数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 X(t) 服从泊松 分布， 所以 X(t) 是一个时间连续状态离散的马氏过程， 而且是齐次的。 写出它的转移概率。 解：其状态空间 I={0，1，2，…}，当呼唤次数 i j 时，转移概率
qij t 加上一个比t 高阶的无穷小量。
推论： （1）对任意 i I ， 0

i j
qij qi
（2）对时间连续的齐次有限马氏链， i I ，有
q
i j
ij
qi
密度矩阵
由跳跃强度 qij 构成的矩阵
q00 Q q10
q01 q11
它表明系统从状态 i 出发，是继续留在状态 i，还是跳跃到状态 j，在不计一个高阶无 穷小时，决定于 qii 与 qij 。 称 qij 为齐次马氏链从状态 i 到状态 j 的转移速率或跳跃强度。定理中的极限的概率意 义为：在长为t 的时间区间内，过程从状态 i 转移到另一其他状态的概率为 1 pii ( t) ， 等于 qii t 加上一个比t 高阶的无穷小量；而从状态 i 转移到状态 j 的概率 pij ( t ) ，等于
这个条件称为正则性条件。正则性条件说明：过程刚进入某状态不可能立即又跳跃到 另一个状态。这正好说明一个物理系统要在有限时间内发生无限多次跳跃，从而消耗无穷 多的能量是不可能的。
定理 4.17 设 pij (t ) 是连续时间齐次马氏链的转移矩阵，则对任意 i, j I ， i j ，下 列极限存在 （1）
iI
pin1in (tn tn 1 )
例 2 证明齐次泊松过程 { X (t ),t 0} 为连续时间齐次马氏链。 证明 略。
二、Q 矩阵
对于转移概率 pij (t ) ，一般假定它满足：对任意的 i, j I ，有
i j 1 lim pij(h) δij h0 0 , i j
4 2014 年 12 月 11 日星期四 大连海事大学数学系
第五章 连续时间马氏链
t 0
lim
1 pii ( t) qii t
等价 pii ( t) 1 qii t ο( t)
t 0
lim
pij ( t) t
qij
等价 pij ( t) qij t ο( t)
( pi1(t), pi2 (t),
（向前方程）
(t)) ( pi1(t), pi 2 (t), , pin
P(t) QP(t)
, pin (t))Q
（i=1，2，…，n）
研究的问题：从状态 i 出发经过时间 t ，转移到任意一个状态 j 的概率. （向后方程）
j (t) p1 p1 j (t) j (t) p2 p2 j (t) Q p (t) p (t) nj nj
jI j
（3） p j (t )
p p (t ) ；
iI i ij
（4） p j (t )
p (t ) p ( ) ；
iI i ij
（5） P{ X (t1 ) i1 , X (t2 ) i2 ,
, X (tn ) in }
pi pii1 (t1 ) pi1i2 (t2 t1 )
q
i j
ij
qii ，对任意
5
2014 年 12 月 11 日星期四
大连海事大学数学系
第五章 连续时间马氏链
i，j I 和 t 0 ，有
(t) (1) pij
p
k j
ik
(t)qkj q jj pij (t )
sup {qi }
i
(t) (2) pij
pin1in
注：连续时间齐次马氏链的有限维概率分布由它的初始分布和转移矩阵所确定。
性质 3：齐次马氏链的绝对概率及有限维概率分布具有下列性质： （1） p j (t ) 0 ；
3 2014 年 12 月 11 日星期四 大连海事大学数学系
第五章 连续时间马氏链
（2）
p (t ) 1 ；
q
k i
ik
pkj (t) qii pij (t)
证明： （2） pij (t h)
p
kI
ik
(h) pkj (t )
pij (t h) pij (t ) pik ( h) pkj (t ) [1 pii ( h)] pij (t )
k i
lim
P{ X( t i0 , X ( 1t) i1 ,, X ( n t ) in } 0)
P{X(t 0 ) i0 } pi0i1(t1 t0 ) pin1in (tn tn1 )
注：性质 2 对应于离散时间 P{ X 0 i0 , X 1 i1 ,, X n in } pi0 (0) pi0i1 pi1i2

称为时间连续马氏链的密度矩阵或 Q 矩阵。 若对一切 i I ，有
q
i j
ij
qii
则称 Q 矩阵为保守的 ，也称连续马氏链是保守的。 由定理 4.17 推论可知，时间连续的齐次有限马氏链是保守的。
三、柯尔莫哥洛夫定理
定理 4.18 设 { X (t ), t 0} 是时间连续的齐次马氏链，
, in1 I ，有
, X (tn ) in }