P{X (s t ) j | X (s) i, X ( ) k ( ),0 s}
P{X (s t ) j | X (s) i}
则称X(t)为时间连续的马尔可夫链。记
pij (s, t ) P{X (s t ) j | X (s) i} 如果 pij (s, t ) 与s无关，记为 pij (t )
（2） Ti与Tj独立 ( i j )；
vi t F ( t ) 1 e （3） Ti服从参数为vi指数分布 i
当vi 时，称状态i为瞬时状态； 当vi 0时，称状态i为吸收状态。
解放军电子技术学院
卢
证 （1） Ti与进入状态i的时刻无关；
P(Ti t | X (t0 ) i) P{X ( ) i, t0 t0 t | X (t0 ) i}
Gi (t s) Gi (s)Gi (t )
Gi (t ) e
vi t
解放军电子技术学院
卢
定理1 证明泊松过程是一个时间连续的马氏 链。求泊松过程的转移概率。 已证
P{X (tn ) kn X (t1 ) k1 , X (t2 ) k2 ,
X (t2 ) X (t1 ) k2 k1 ,
kE
pik t pkj
kE
解放军电子技术学院
卢
记：Ti为在状态i停留的时间。即： X ( ) i, 0 Ti , X (Ti ) j; X ( ) j, Ti Ti T j , X (Ti T j ) k （1） Ti与进入状态i的时刻无关； 引理：
P{X ( ) i,0 t | X (0) i}
P(Ti t | X Tj独立 (i j )；
P{Tj s | Ti t} P{Tj s | X ( ) i,0 t, X (t ) j}
P{Tj s | X (t ) j}
P{X ( ) j, t s t | X (t ) j}
P{Tj s | X (0) j}
解放军电子技术学院
卢
证： （3） Ti服从指数分布 根据马氏性和齐次性易证
P(Ti s t | Ti s)
第五章 时间连续马尔可夫链
• • • 时间连续马尔可夫链的性质 柯尔莫哥洛夫方程 特例 1.两状态链 2.生灭过程 • 生灭过程在排队论中的应用
解放军电子技术学院
卢
定义
定义 设随机过程{X(t),t>=0}状态空间E={0，1，2，….}
如果对于任何的s,t>=0及 i, j, k ( ) I , 0 s 均有
X (tn1 ) kn1}
P{ X (tn ) X (tn1 ) kn kn1 X (t1 ) X (0) k1 , X (tn1 ) X (tn2 ) kn1 kn2 }
P{ X (tn ) X (tn1 ) kn kn1}
因X (tn ) X (tn1 ) 与X (tn1 ) X (tn1 ) X (0) 相互独立
P{X (tn ) X (tn1 ) kn kn1 X (tn1 ) kn1}
P{X (tn ) kn X (tn1 ) kn1}
解放军电子技术学院
此时称为时间连续的齐次马尔可夫链
解放军电子技术学院
卢
C-K方程
1 转移概率 pij (t ) 满足下列关系式
0 pij t 1, i, j E 及
p t 1, i E
jE ij
2. C—K方程成立
pij t pik t pkj
卢
泊松过程的转移概率为
j i 1 t o t , j i 1 pij t t o t , j i 1 o t ,
解放军电子技术学院
卢
定理2 p j (t ) P( X (t ) j)称为绝对概率；
p j P( X (0) j)称为初始概率；则
解放军电子技术学院
卢
P(Ti s t | Ti s) P(Ti t )
P(Ti s t )
P(Ti s t , Ti s) P(Ti s t | Ti s)P(Ti s) P(Ti t ) P(Ti s)
Gi (t ) P(Ti t ).
P{X (t ) j，X (t ) k X (0) i}
kE
P{X (t ) j X (t ) k}P{X (t ) k X (0) i}
kE
P{X ( ) j X (0) k}P{X (t ) k X (0) i}
P( X ( ) i,0 s t | X ( z ) i,0 z s) P( X ( ) i, s s t | X ( z ) i,0 z s) P( X ( ) i, s s t | X (s) i) P( X ( ) i,0 t | X (0) i) P(Ti t )
kE
3. 连续性条件假设
1, lim pij t t 0 0,
i j i j
C-K方程
解放军电子技术学院
停留的时间
卢
证： pij t pik t pkj
kE
pij t P{X (t ) j X (0) i}