连续时间马尔可夫链I 马尔可夫链543210 1 2 3 4 5 T25.1 连续时间马尔可夫链定义5.1 设随机过程{X(t)，t 0}，状态空间I={0,1,2,}，若对任意0t1<t2<<t n+1 及非负整数i1,i2, ,i n+1 I，有P{X(t n+1)=i n+1|X(t1)=i1, X(t2)=i2,, X(t n)=i n}=P{X(t n+1)=i n+1|X(t n)=i n}，则称{X(t)，t 0}为连续时间马尔可夫链。

转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率p ij(s,t)= P{X(s+t)=j|X(s)=i} 35.1 连续时间马尔可夫链定义5.2 齐次转移概率p ij(s,t)=p ij(t)(与起始时刻s无关，只与时间间隔t有关) •转移概率矩阵P(t)=(p ij(t)) ，i,j I，t 0，称为齐次马尔科夫过程性质：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有P{ s t | s} P{ t}i(1)i i(2)i 服从指数分布45.1 连续时间马尔可夫链证(1) 事实上i i i its s+ti{ s} {X(u) i,0 u s | X(0) i} i{ s t} {X(u) i,0 u s,iX(v) i, s v s t | X(0) i}55.1 连续时间马尔可夫链P{ s t | s} P{X (u) i,0 u s,i iX (v) i,s v s t | X (u) i,0 u s} P{X (v) i,s v s t | X (u) i,0 u s}条件概率P{X (v) i,s v s t | X (s) i}马尔可夫性P{X (u) i,0 u t | X (0) i}齐次性P{ t}i65.1 连续时间马尔可夫链(2)设i的分布函数为F(x), (x0),则生存函数G(x)=1-F(x)P{ t} P{ s t | s }i i iP {isP { t,i s}Ps}iP { s t}t}P{ s}P {iiiG (s t) G(s)G (t)7 由此可推出G(x)为指数函数，G(x)=e -x,则F(x)=1-G(x)=1-e -x为指数分布函数。

5.1 连续时间马尔可夫链0, •过程在状态转移之前处于状态i 的时间iF 1(x) e服从指数分布xii(1)当i =时，(x P x FxF ) 1, { } 1 ( )i ii状态i 的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，(x P x FxF ) 0, { } 1 ( )i ii 1, 8状态i的停留时间超过x的概率为1，i则称状态i为吸收状态。

正则性分布律转移方程时间离散p(0)1,iip i j(0) 0( )ijp(n)0,ijp n( )ijj I1p(n) (l) (n l )ij p pik kjk I时间连续lim p (t)ijt01 ,0 ,i ji jp (t) 0ij p ij (t s) p (t) p (s )ik kjj I p (t) 1ijk I95.1 连续时间马尔可夫链•定理5.1 齐次马尔可夫过程的转移概率具有下列性质：(1) p ij(t)0;（非负性）p ( ) 1;ij t(2) （行和为1）j I(3) （C-K方程）p ij (t s) p (t) p (s)ik kjk I105.1 连续时间马尔可夫链•注：lim p (t)ijt 01 ,0 ,i ji j此为转移概率的正则性条件。

含义：过程刚进入某状态不可能立即跳跃到另一状态。

115.1 连续时间马尔可夫链•定义5.3I (1)初始概率p j (0) { (0) },p P X j jjp ) { ( ) }, , 0(t P X t j j I t (2)绝对概率j(3)初始分布p jIj ,(4)绝对分布( ) ,p t j I tj125.1 连续时间马尔可夫链•定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1) p j(t )0p j (t) 1(2)(3)j I pi in 1 n(tntn 113)p j (t) p p (t)i iji Ip ( )( )( )(4) j t p t pi iji I(5)P{X(t ) i , , X(t ) i }1 1 n np p (t ) p (t t )i ii 1 i i 2 11 1 2i I5.1 连续时间马尔可夫链•例5.1 证明泊松过程{X(t), t0}为连续时间齐次马尔可夫链。

证先证泊松过程的马尔可夫性。

泊松过程是独立增量过程，且X(0)=0，对任意0<t1< t2<< t n< t n+1有P{X(t )n 1 in1 | X(t )1i , ,1X(tn)i}nP{X(t )n 1 X(tn)ini | Xn(t )1X(0) i,11X(t )2 X(t1) ii , ,2 1X(tn)X(tnP{X(t )n 1 X(tn) in 1i}n145.1 连续时间马尔可夫链另一方面P{X (t )n1i|n1X (tn)in P{X(t )n 1X (tn)in1i|X(tnn(t ) X (t)iP {Xn 1nn 1所以P {X (t ) i | X (t ) i , , n 1n 111P {X (t ) i | X (t ) i }n 1n 1nnX (t n)i } n 即泊松过程是一个连续时间马尔可夫链。

155.1 连续时间马尔可夫链再证齐次性X(s) i} P{X(s t) X(s) j i } 当j i时，P{X(s t) j |tj i( t )e( j i)! 当j<i时,因增量只取非负整数值,故p ij(s,t)=0，所以( t j i)t , j iep (s,t) p )!(t) ( j i ijij0 , j i转移概率与s无关，泊松过程具有齐次性。

165.2 柯尔莫哥洛夫微分方程•引理5.1 设齐次马尔可夫过程满足正则性条件lim p (t)ijt 01 ,0 ,i ji j则对于任意i, j I，pij(t)是t的一致连续函数。

•含义：在很短的时间内，不可能从一个状态转移到另一状态。

1, p (0)ij 0, iijj175.2 柯尔莫哥洛夫微分方程•定理5.3 设p ij(t)是齐次马尔可夫过程的转移概率，则下列极限存在1 p ( t)(1) lim qiii iitt 0p ( t)ij(2) lim q , jitijt 0称为齐次马尔可夫过程从状态i到状态j 的转移速率（跳跃强度）。

185.2 柯尔莫哥洛夫微分方程推论（1）对有限齐次马尔可夫过程，有∑q ii q=ijj≠i <∞转移速率矩阵为Qq00q10q01q11qn1q0nq1nqnnqn0行和为0，任意i, j I，qij ≥0（2）对I无限齐次马尔可夫过程，有q ii qij（行和非正）j i195.2 柯尔莫哥洛夫微分方程•若连续时间齐次马尔可夫链具有有限状态空间I ={0,1,2,,n}Qq qQ00 01 0n 0 q q Q10 11 1n 1q q Qn0 n1 nn n问题：能否由Q可求转移概率？205.2 柯尔莫哥洛夫微分方程用Q解微分方程求转移概率p ij (t)的方法•定理5.4 (柯尔莫哥洛夫向后方程)q ii q假设，则对一切i, j及t 0，有ikk ip (t) q p (t) q p (t) Q Pij ik kj ii ij i jk i（固定最后状态j 时用）•定理5.5 (柯尔莫哥洛夫向前方程)在适当的正则条件下有21p( ) ( ) ( )ij t p t q p t qik kj ij jjk j（固定状态i 时用，有限或生灭过程适用）5.2 柯尔莫哥洛夫微分方程注：向后方程的矩阵形式：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q p00(t)p (t01)p (t02) P (t)( )p tijp (t10)p (t11)p (t12)P ,p (t20)p (t21)p (t22)Qq00q10q20q01q11q21q02q12q22若Q是一个有限矩阵，则有P(t ) Q(t)en 0n(Qt)n!225.2 柯尔莫哥洛夫微分方程定理5.6 齐次马尔可夫过程在t时刻处于状态j I的绝对概率p(t) 满足方程：jj jp( ) ( )( )j t p t q p t qk kj jk j。