5.1 连续时间马尔可夫链
(2)设τi的分布函数为F(x) (x≥0), 则生存函 数G(x)=1-F(x) { } { | } P τi > t = P τi > s + t τi > s { , } { } P τi > s + t τi > s P τi > s + t { } { } = = P τi > s P τi > s } { } { } 移项得： { P τi > s + t = P τi > s ⋅ P τi > t ( ) ( ) ( ) G s+t =G s G t 由此可推出G(x)为指数函数，G(x)=e-λx, 则F(x)=1-G(x)=1-e-λx为指数分布函数。
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
j ≠i
1 − pii (Δt ) qii = lim = lim Δt →0 Δt →0 Δt 注：一般而言qii ≥ ∑ qij
j ≠i
∑ p (Δt )
j ≠i ij
Δt
= ∑ qij
j ≠i
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
p = { p j , j ∈ I}
t≥0
5.1 连续时间马尔可夫链
定理5.2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质： (1) pj(t)≥0 (2) (3)
∑ p (t ) = 1 p (t ) = ∑ p p
j∈I j
j
(4) p j (t + τ ) = ∑ pi (t ) pij (τ ) (5) P{ X (t1 ) = i1 , , X (t n ) = in } = ∑ pi pii (t1 ) pi i (t 2 − t1 ) pi
pij (t + s) = ∑ pik (t) pkj (s)
k∈I
= ( pi1(t) pi 2 (t)
pik (t)
⎛ p1 j (s) ⎞ ⎜ p (s) ⎟ ⎜ 2j ⎟ ⎟ )⎜ ⎜ ⎟ ⎜ pkj (s) ⎟ ⎜ ⎟ ⎝ ⎠
P(t + s) = P(t)P(s) P(0) = I
I
i pi(0)
第五章 连续时间马尔可夫链
I
5 4 3 2 1 0 1
马尔可夫链
2
3
4
5
T
5.1 连续时间马尔可夫链
定义5.1 设随机过程{X(t)，t ≥0 }，状态空间 I={0,1,2,…}，若对任意 0≤t1< t2<…< tn+1及非负整数i1,i2, …,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,…, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ≥0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后 转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i}
pij (t + s ) = P{ X (t + s ) = j | X (0) = i} = ∑ P{ X ( t + s ) = j , X ( t ) = k | X ( 0 ) = i } = ∑ P{ X (t + s ) = j | X (t ) = k , X (0) = i}
k ∈I k ∈I
5.1 连续时间马尔可夫链
初始概率、绝对概率
pi(t)
j pij(t,τ)
t
t+τ
T
5.1 连续时间马尔可夫链
定义5.3 (1)初始概率 p j = p j (0) = P{ X (0) = j}, j ∈ I (2)绝对概率 p j (t ) = P{ X (t ) = j}, j ∈ I , t ≥ 0 (3)初始分布 (4)绝对分布 p (t ) = { p j (t ) , j ∈ I }
定理5.5(柯尔莫哥洛夫向前方程) 5.5 在适当的正则条件下有
p′ (t ) = ∑ pik (t )qkj − pij (t )q jj ij
5.1 连续时间马尔可夫链
★正则性条件
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5.1 连续时间马尔可夫链
正则性 时间 离散 时间 连续
p p
(0) ii (0) ij
分布律
( p ijn ) ≥ 0,
转移方程
( ( ( pijn ) = ∑ pikl ) pkjn − l ) k ∈I
i∈I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
= 1, = 0 (i ≠ j )
∑
j∈ I
( p ijn ) = 1
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
pij (t ) ≥ 0
∑ p (t ) = 1
j∈I ij
pij (t + s ) = ∑ pik (t ) pkj ( s )
k ∈I
5.1 连续时间马尔可夫链
5.2 柯尔莫哥洛夫微分方程
定理5.4(柯尔莫哥洛夫向后方程) 5.4 假设 qii = ∑ qik ，则对一切i, j及t ≥ 0，有
k ≠i
′ pij (t ) = ∑ qik pkj (t ) − qii pij (t ) = Qi Pj
k ≠i
证明：由切普曼-柯尔莫哥洛夫方程有 证明：
pij (t + h) = ∑ pik (h) pkj (t ) pij (t + h) − pij (t ) = ∑ pik (h) pkj (t ) − [1 − pii (h)] pij (t )
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
另一方面
P{ X (t n+1 ) = in +1 | X (t n ) = in }
= P{ X (t n+1 ) − X (t n ) = in+1 − in | X (t n ) − X (0) = in } = P{ X (t n+1 ) − X (t n ) = in+1 − in } 所以 P{ X (t n +1 ) = in+1 | X (t1 ) = i1 , , X (t n ) = in }
P{ X (t n +1 ) = in +1 | X (t1 ) = i1 , X (t 2 ) − X (t1 ) = i2 − i1 , , X (t n ) = in } = P{ X (t n +1 ) − X (t n ) = in +1 − in | X (t1 ) − X (0) = i1 , , X (t n ) − X (t n−1 ) = in − in−1} = P{ X (t n +1 ) − X (t n ) = in +1 − in }
5.2 柯尔莫哥洛夫微分方程
★称为齐次马尔可夫过程从状态i到状态j的转 移速率（跳跃强度）。 推论 对有限齐次马尔可夫过程，有
qii = ∑ qij < ∞
j ≠i
满足上述关系的Q＝（qij）称为保守矩阵。
5.2 柯尔莫哥洛夫微分方程
证明：
∑ p (Δt ) = 1,
j∈I ij
1 − pii (Δt ) = ∑ pij (Δt )
5.1 连续时间马尔可夫链
P{τ i > s + t | τ i > s} = P{ X (u ) = i, 0 < u ≤ s, X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} = P{ X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} 条件概率 = P{ X (v) = i, s < v ≤ s + t | X ( s ) = i} 马尔可夫性 齐次性 = P{ X (u ) = i, 0 < u ≤ t | X (0) = i} = P{τ i > t}