随机过程讲义
第五章 连续时间的马尔可夫链
P { i s t } P { i s } P { i t },
即有
G ( s t ) G ( s )G ( t ).
由此可推出G(t)为指数函数, G ( t ) e i t . 设 i的分布函数为F(x), (x 0), 则有
pij ( t s ) P { X ( t s ) j | X (0) i }
P { X ( t s ) j , X ( t ) k | X (0) i } P { X ( t s ) j | X ( t ) k , X (0) i }
P { i t };
(2) 设 G ( t ) P { i t }( t 0). 由于
P { i t } P{ i s t | i s }
可得
P { i s t , i s } P { i s t } , P { i s } P { i s }
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I

j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
ji
p ( t )
ij
t
qij .
ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
P { X ( t n1 ) X ( t n ) in1 in | X ( t1 ) X (0) i1 , X ( t 2 ) X ( t1 ) i2 i1 , , X ( t n ) X ( t n1 ) in in1 } P { X ( t n1 ) X ( t n ) in1 in }. 另一方面 P { X ( t n 1 ) i n 1 | X ( t n ) i n } P{ X ( t n1 ) X ( t n ) in1 in | X ( t n ) X (0) in } P { X ( t n1 ) X ( t n ) in1 in }.
例5.1 证明泊松过程{X(t), t 0}为连续时间齐次马尔可夫 链. . 证 先证泊松过程的马尔可夫性 根据定义知, 泊松过程是独立增量过程, 且X(0)=0, 对任 意0<t1< t2< < tn< tn+1 , 有 P { X ( t n1 ) in1 | X ( t1 ) i1 , , X ( t n ) in }
F ( t ) 1 G ( t ) 1 e i t . 故 i 服从指数分布.
两点说明： 1) 当 i= 时,F i ( x ) 1, P{ i x } 1 F i ( x ) 0, 状态i 的停留时间 i 超过x的概率为0, 则称状态i为瞬时状态； 2) 当 i=0时,F i ( x ) 0, P{ i x } 1 F i ( x ) 1, 状态i
第五章 连续时间的马尔可夫链
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链 §5.2 科尔莫哥洛夫微分方程
§5.3 生灭过程
随机过程讲义
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链
定义5.1 设随机过程{X(t), t 0 }, 状态空间I={0,1,2, }, ,in+1 , 有 若对任意0 t1< t2< <tn+1及非负整数i1,i2, =P{X(tn+1)=in+1|X(tn)=in}, 则称{X(t), t 0 }为连续时间马尔可夫链.
随机过程讲义
§5.2 科尔莫哥洛夫微分方程
一、转移概率pij(t)的性质
第五章 连续时间的马尔可夫链
引理5.1 设齐次马尔可夫过程满足正则性条件 1 , i j , lim pij ( t ) t 0 0 , i j, 则对于任意i, j I, pij(t)是t的一致连续函数. 注：以下讨论均假定马尔可夫过程满足正则性条件. 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率, 则下 列极限存在 呵称为齐次马尔 可夫过程从状态i 1 pii ( t ) 到状态j的转移速 (1) lim i qii ; t 0 t 率(跳跃强度). pij ( t ) (2) lim qij , j i . t 0 t
P { i s t | i s } P{ X ( u) i ,0 u s ,
X (v ) i , s v s t | X ( u) i ,0 u s } P{ X (v ) i , s v s t | X ( u) i ,0 u s } (条件概率) P{ X (v ) i , s v s t | X ( s ) i } (马尔可夫性) P{ X (u) i ,0 u t | X (0) i } (齐次性)
(3) 初始分布 (4) 绝对分布
{ p j , j I }; { p j ( t ) , j I } ( t 0).
定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质： (1) p j ( t ) 0; (2) p j ( t ) 1; (3) p j ( t ) pi pij ( t ); (5) P { X ( t1 ) i1 ,
q0 n Q1 q11 q1n Q2 . qn 1 qnn Qn 能否由Q可求转移概率矩阵P？ 定理5.4 (柯尔莫哥洛夫向后方程) 假设 qii qik , q01 q00 q Q 10 qn 0
随机过程讲义
第五章 连续时间的马尔可夫链
推论 对有限齐次马尔可夫过程, 有
qii qij .
ji
证 由定理5.1知 pij (t ) 1,
jI
即Байду номын сангаас
1 pii ( t ) pij ( t ).
ji
由于求和是在有限集中进行, 故有
1 pii ( t ) qii lim lim t 0 t 0 t
kI kI kI
随机过程讲义
第五章 连续时间的马尔可夫链
注：转移概率的正则性条件
1 , i j , lim pij ( t ) t 0 0 , i j.
时间离散与时间连续马尔可夫链的比较
正则性 时间 p 1, ( 0) 离散 pij 0( i j )
( 0) ii
kI kI
P { X ( t ) k | X (0) i }
P { X ( t s ) j | X ( t ) k }P { X ( t ) k | X (0) i } pkj ( s ) pik ( t ) pik ( t ) pkj ( s ).
随机过程讲义
第五章 连续时间的马尔可夫链
连续时间马尔可夫链的性质 若 i为过程在状态转移之前停留在状态i的时间, 则 对s, t 0有 (1) P { i s t | i s } P{ i t }; (2)
i 服从指数分布.
证 (1) 如图所示, 有 i i
0 s
t
i s+t
随机过程讲义
第五章 连续时间的马尔可夫链
所以 P { X ( t n1 ) in1 | X ( t1 ) i1 ,
, X ( t n ) in }
P { X ( t n1 ) in1 | X ( t n ) in },
即泊松过程是一个连续时间马尔可夫链. 再证齐次性. 当j i时， P{ X ( s t ) j | X ( s ) i } P{ X ( s t ) X ( s ) j i } ji ( t ) et . ( j i )! 当j<i时, 因过程的增量只取非负整数值, 故pij(s,t)=0, 所以 t ( t ) j i , ji e pij ( s , t ) pij ( t ) ( j i )! 0 , j i 转移概率与s无关, 泊松过程具有齐次性.
pik ( h) pkj ( t ) pii ( h) pij ( t ).
k i
pij ( t h) pij ( t ) pik ( h) pkj ( t ) [1 pii ( h)] pij ( t )
i
i
{ i s } { X ( u) i ,0 u s | X (0) i }, { i s t } { X ( u) i ,0 u s , X (v ) i , s v s t | X (0) i }
随机过程讲义
第五章 连续时间的马尔可夫链
pij (t s ) pik (t ) pkj ( s )
k I
随机过程讲义
第五章 连续时间的马尔可夫链
定义5.3 设 { X ( t ), t 0} 为连续时间的马尔可夫过程, 则 (1) 初始概率 p j p j (0) P{ X (0) j }, j I ; (2) 绝对概率 p j ( t ) P { X ( t ) j }, j I , t 0;