14
5.1 连续时间马尔可夫链
另一方面
P{ X (t n 1 ) in 1 | X (t n ) in }
P{ X (tn 1 ) X (t n ) in 1 in | X (t n ) X (0) in } P{ X (tn 1 ) X (t n ) in 1 in }
4
5.1 连续时间马尔可夫链
证(1) 事实上 i 0 i s t i s+t i
i
{ i s} {X (u) i ,0 u s | X (0) i}
{ i s t} { X (u) i ,0 u s, X (v ) i , s v s t | X (0) i}
（固定最后状态 j 时用）
k i
k i
• 定理5.5 (柯尔莫哥洛夫向前方程) 在适当的正则条件下有
p ij (t ) pik ( t )qkj pij (t )q jj
k j
（固定状态 i 时用， 有限或生灭过程适用）
21
5.2 柯尔莫哥洛夫微分方程
注： 向后方程的矩阵形式：P (t)=QP(t) 向前方程的矩阵形式：P (t)=P(t)Q
pij (t ) 0
p (t ) 1
jI ij
pij (t s) pik (t ) pkj ( s)
kI
9
5.1 连续时间马尔可夫链
•
定理5.1 齐次马尔可夫过程的转移概率 具有下列性质： (1) pij(t)0;（非负性） (2)
p
jI
ij
(t ) 1; （行和为1）
i i i i
8
正则性 时间 离散
p p
(0) ii (0) ij
分布律
(n) pij 0,
转移方程
( n) ( l ) ( n l ) pij pik pkj kI
1, 0(i j )

jI
(n) pij 1
时间 连续
1 , i j lim pij (t ) t 0 0 , i j
(5)P{ X (t1 ) i1 , , X (t n ) in }
iI
iI
pi pii1 (t1 ) pi1i2 (t 2 t1 ) pin1in (t n t n1 )
13
5.1 连续时间马尔可夫链
• 例5.1 证明泊松过程{X(t), t0}为连续时 间齐次马尔可夫链。 证 先证泊松过程的马尔可夫性。 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<< tn< tn+1有
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关)
• 转移概率矩阵P(t)=(pij(t)) ，i,jI，t 0 ，称为 齐次马尔科夫过程 性质：若i为过程在状态转移之前停留在状态 i的时间，则对s, t0有 (1) P{ i s t | i s} P{ i t} (2) i 服从指数分布
12
5.1 连续时间马尔可夫链
• 定理5.2 齐次马尔可夫过程的绝对概率及有限 维概率分布具有下列性质：
(1) pj(t)0
jIห้องสมุดไป่ตู้j
p (t ) 1 (2) (3) p (t ) p p (t ) (4) p j (t ) pi (t ) pij ( )
j iI i ij
• 定义5.3 (1)初始概率 p j p j (0) P{X (0) j}, j I (2)绝对概率 p j (t ) P{X (t ) j}, j I , t 0
(4)绝对分布 p (t ) , j I
(3)初始分布 p j , j I
j
t 0
(3) pij (t s)
p
kI
ik
(t ) pkj ( s) （C-K方程）
10
5.1 连续时间马尔可夫链
• 注：
1 , i j lim pij (t ) t 0 0 , i j
此为转移概率的正则性条件。
含义：过程刚进入某状态不可能立即 跳跃到另一状态。
11
5.1 连续时间马尔可夫链
P { i s t } P { i s } P { i t } G ( s t ) G ( s )G (t )
由此可推出G(x)为指数函数，G(x)=e-x, 则F(x)=1-G(x)=1-e-x为指数分布函数。
7
5.1 连续时间马尔可夫链
• 过程在状态转移之前处于状态i的时间i 服从指数分布 F ( x) 1 e i x i F ( x) 1, P{ i x} 1 F ( x) 0, (1)当i=时， 状态i的停留时间i 超过x的概率为0，则 称状态i为瞬时状态； F ( x) 0, P{ i x} 1 F ( x) 1, (2)当i=0时， 状态i的停留时间i 超过x的概率为1，则 称状态i为吸收状态。
qii qij
ji
19
5.2 柯尔莫哥洛夫微分方程
• 若连续时间齐次马尔可夫链具有有限状 态空间I={0,1,2,,n}
q00 q10 Q qn 0 q01 q11 qn1 q0 n Q0 q1n Q1 qnn Qn
所以 P{X (tn1) in1 | X (t1) i1,, X (tn ) in} P{X (tn1) in1 | X (tn ) in}
即泊松过程是一个连续时间马尔可夫链。
15
5.1 连续时间马尔可夫链
P{ X ( s t ) j | X ( s) i} P{ X ( s t ) X ( s) j i} e t (t ) j i ( j i )!
再证齐次性 当j i时，
当j<i时,因增量只取非负整数值,故pij(s,t)=0， 所以 t ( t ) j i
, ji e pij ( s, t ) pij (t ) ( j i )! 0 , j i
转移概率与s无关，泊松过程具有齐次性。
16
5.2 柯尔莫哥洛夫微分方程
问题：能否由Q可求转移概率？
20
5.2 柯尔莫哥洛夫微分方程
用Q解微分方程求转移概率pij (t)的方法 • 定理5.4 (柯尔莫哥洛夫向后方程) 假设 qii qik ，则对一切i, j及t 0，有
(t ) qik pkj (t ) qii pij (t ) Qi Pj pij
17
5.2 柯尔莫哥洛夫微分方程
• 定理5.3 设pij(t)是齐次马尔可夫过程的 转移概率，则下列极限存在 1 pii (t ) (1) lim i qii t 0 t pij (t ) (2) lim qij , j i t 0 t 称为齐次马尔可夫过程从状态i到状态j 的转移速率（跳跃强度）。
P{ X (t n1 ) in1 | X (t1 ) i1 ,, X (t n ) in } P{ X (t n1 ) X (t n ) in1 in | X (t1 ) X (0) i1 , X (t 2 ) X (t1 ) i2 i1 ,, X (t n ) X (t n1 ) in in1} P{ X (t n1 ) X (t n ) in1 in }
18
5.2 柯尔莫哥洛夫微分方程
推论（1）对有限齐次马尔可夫过程，有
qii =∑qij < ∞
j≠i
转移速率矩阵为
q00 q01 q q11 10 Q qn1 qn 0
q0 n q1n qnn
行和为0，任意i, jI，qij ≥0 （2）对 I无限齐次马尔可夫过程，有 （行和非正）
5.2 柯尔莫哥洛夫微分方程
定理5.6 齐次马尔可夫过程在t时刻处于状 态jI的绝对概率pj(t) 满足方程：
pj (t ) pk (t )qkj p j (t )q jj
k j
23
5.2 柯尔莫哥洛夫微分方程
• 定义5.4 设pij(t)是连续时间马尔可夫链的转 移概率，若存在时刻t1和t2，使得 pij(t1)>0， pji(t2)>0，则称状态i与j是互通 的。 若所有状态都是互通的，则称此马 尔可夫链为不可约的。
24
5.2 柯尔莫哥洛夫微分方程
• 定理5.7 设连续时间马尔可夫链是不可 约的，则有下列性质： pij (t )存在 (1)若它是正常返的，则极限 lim t 且等于j >0，jI。这里j 是 j q jj k qkj , j 1
k j jI
的唯一非负解，此时称{j >0，jI}是该 p j (t ) j 过程的平稳分布，并且有lim t (2)若它是零常返的或非常返的，则
5
5.1 连续时间马尔可夫链
P{ i s t | i s} P{ X (u ) i, 0 u s, X (v) i, s v s t | X (u ) i, 0 u s} P{ X (v) i, s v s t | X (u ) i, 0 u s} 条件概率 P{ X (v) i, s v s t | X ( s ) i} 马尔可夫性 P{ X (u ) i, 0 u t | X (0) i} P{ i t}
• 引理5.1 设齐次马尔可夫过程满足正则 性条件 1 , i j lim pij (t ) t 0 0 , i j