n步转移概率
p(n) ij
n步转移概率矩阵 P(n)
t时间区间转移概率 pij(t) t时间区间转移概率矩阵P(t)
强度转移矩阵
Q
初始分布
pi
初始分布
pi
n时刻分布
π(n) j
t时刻分布
j(t)
平稳分布
13
主要公式对比
离散时间马氏链
连续时间马氏链
K-C方程
p(nm) ij
p p (n) (m) ik ቤተ መጻሕፍቲ ባይዱj
❖ 定理3.2
一个连续时间的齐次马氏链，系统处在同一状态 的连续时间服从负指数分布
❖ 定理3.3
一个离散时间的齐次马氏链，在同一状态连续停 留时间的分布是几何分布
其中 pij (t) 0
pi j (t) 1
j
1/ 2 1/ 3 1/ 6 例如：P(2.5) 1/ 3 0 2 / 3
1 0 0
3
1 连续时间马尔可夫链定义
v 若满足下述条件
1 如 i j
lim
t 0
pij
(t)
0
如i j
则称P(t)是X的标准转移矩阵。
有： 1 i j
pij (0) 0 i j
5 平稳分布
若lim t
j
(t
)
j
( j E)
存在，且j 1
j
称为齐次马尔可夫链的平稳分布
，则{j}
❖ 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的
不可约的齐次马氏链，则极限存在，且与初始分 布无关
正常返的齐次马氏链，则此极限值为平稳分布， 且全部大于0
10
5 平稳分布
❖ 如何求连续时间马尔可夫链的平稳分布？
pi=P(X(0)=i)=i(0) ❖ 绝对分布(0(t),i1pi(t)p,i j (t)2(t), 3(t)…)
j(t)=P(X(t)=j)=
由初始分布与t时间区间转移概率矩阵求t时刻
绝 j对'(t)分 布 k (t) qkj
初值：i (0) pi
k
❖
为求瞬时概率分布函数的方程组
9
❖ 定义
❖ 定理ltim3.j1(t) j ( j E)
lim
t
j
'(t
)
0
若
存在，则
。
j '(t) i (t) qij
i
❖ 根据
lim
t
j
'(t)
lim
t
i
i (t) qij
v
若存i在ii 平q1ij 稳 0 分布写成，矩阵则形式： Q 0 i
11
4 平稳概率例题
❖ 一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状
P(0) I
4
2 K-C方程
pij (t s) pik (t) pkj (s)
❖ 1.K-C方程：
k
写成矩阵的形式:
P(t+s)=P(t)·P(s)
P '(t) P(t) Q pij '(t) pik (t) qkj
k
❖ 2. K氏前向方程P '(t) Q P(t)
pij '(t) qik pkj (t)
瞬时分布
P( X n i)
pk
p(n) ki
k
j (t) pi pi j (t)
i
(n) i
(0) i
P(n)
(n1) i
P
j '(t) k (t) qkj
k
平稳分布
P
i 1
v Q 0
v ( I ) P 0
i
i 1 i
i 1
i
14
6 两个定理
(0 qii qi ) (qi j , i j)
❖ 排队论中Q矩阵性质
行和为0
10 6 4
例：Q
2.5
2.5
0
1 1 2
对角线元素为负数
6
3 Q矩阵
❖ 齐次马尔可夫链状态之间的瞬时转移可以用
图表示，图上标明状态之间瞬时强度转移值
qij，叫状态10流图6 4
例：Q
2.5
2.5
记pij(t),成为长度为t的时间区间上的转移概率
p00 (t) p01(t) p02 (t) ...
P(t)
pi j (t)
p10
(t)
p20 (t) ...
p11 (t ) p21 (t )
...
p12 (t) p22 (t)
...
... ... ...
为连续时间马氏链的齐次转移矩阵
1 连续时间马尔可夫链定义
❖ 连续时间的马尔可夫链是这样一种随机过程， 它：
具有无记忆性 状态空间是离散的 时间上是连续的
❖ 与离散时间的马尔可夫链的不同在于其状态 发生变化的时刻是任意时刻，是连续值。
1
1 连续时间马尔可夫链定义
取值在非负整数集E上的随机过程X={Xt, tT=[0,)}, 如果对一 切T中的时刻0t1t2…tn+1及满足 P( Xtk ik ,1 k n) 0
k
❖ 3. K氏后向方程
Q称作密度矩阵，或瞬时概率转移矩阵，也 叫（瞬书时31页强）度转移矩阵，通常称作Q矩阵。 5
3 Q矩阵
❖若
1
lim
t 0
pij
(t)
0
如i j 如i j
qii
lim
t 0
pii (t) 1 t
pii
'(0)
则
qij
lim
t 0
pij (t) t
pij
'(0)
Q P '(0)
0
1 1 2
0
4
2.5
6
1
1
2
1 状态流图
7
4 Q矩阵P(t)
v 依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. v 例：考察E＝{0,1}的连续时间马氏链X，设t极小
p01(t) t o(t) p10 (t) t o(t)
8
4 绝对概率
❖ 初始分布(p0 ,p1 ,p2 ,p3 , …)
态转移图为
❖
平衡(方0程,1：,
2
)
Q
v 0
1 1 0
Q
2
3
1
0 1 1
❖ 列出方程0 组21 0
0 31 2 0
1 2 0
0 1 2 1
❖
得：
0
1 2
1
2
1 4
1
1
0
1
2
2
1
12
转移概率 瞬时分布
主要公式对比 离散时间马氏链
连续时间马氏链
一步转移概率
pij
一步转移概率矩阵P
k
P(nm) Pn Pm
pij (t s) pik (t) pkj (s) k
P(t s) P(t) P(s)
前向 P '(t) P(t) Q
方程 pij '(t) pik (t) qkj k
后向 P '(t) Q P(t)
方程 pij '(t) qik pkj (t) k
的任意状态 ik E(1 k n)
成立着
P{Xtn1 j | Xtk ik ,1 k n}
P{X tn1 j | X tn in}
则称X是连续时间的马尔可夫链。
与此历史无关
j in
tn
tn＋1
2
1 连续时间马尔可夫链定义
记pij(s,t)=P(Xt=j|Xs=i) 若此转移概率只与t-s有关，则称它为X的齐次转移概率函 数，此马氏链X为连续时间齐次马氏链。