随机过程
第五章：连续时间的马尔可夫链
第五章：连续时间的马尔可夫链
5.1 连续时间马尔可夫链定义
5.2 柯尔莫哥洛夫向前方程与向后方程5.3 连续时间马尔可夫链的应用
z 时间、状态都是离散的马尔可夫过程，称为
马尔可夫链。

z 时间连续、状态离散的马尔可夫过程，称为
连续时间的马尔可夫链。

z
时间、状态都是连续的马尔可夫过程，就是
马尔可夫过程。

例如：天气预报…
质点的随机游动…
赌博输光问题…
生死链…5.1 连续时间的马尔可夫链定义
一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：
（1）在转移到另一状态之前处于状态i 的时间服从参数为
v i 的指数分布；
（2）当过程离开状态i 时，接着以概率p ij 进入状态j，且
()1ij
j i
p t ≠=∑当v i =∞时，称状态i 为瞬时状态；
当v i ＝0时，称状态i 为吸收状态。

x
0()0 x<0
x
e f x λλ−⎧≥=⎨⎩对于指数分布的随机变量X(t) ：
{|}{}
?
P x s t x s P x t >+>=>1 x 0()0 x
0x
e F x λ−⎧−≥=⎨<⎩}{}|{t P s t s P i i i >=>+>τττ分布函数概率密度函数
(){()|(0)}
{(),()|(0)}{()|(0)}{()|()}()()
ij k I
k I
ik kj k I P t s P X t s j X i P X t s j X t k X i P X t k X i P X t s j X t k P t P s ∈∈∈+=+===+======+===∑∑∑证明:
(){()}
{(),(0)}
{()|(0)}{(0)}
()
j k I
k I
i ij k I
P t P X t j P X t j X i P X t j X i P X i PP t ∈∈∈==========∑∑∑证明（3）:
同样方法可以证明性质（4）和（5）。

例题5-1:
证明: 泊松过程X(t) 为连续时间齐次马尔可夫链。

（1）先证明马氏性
（2）再证明齐次性
111111{()|(),...()}
{()|()}
n n n n n n n n P X t i X t i X t i P X t i X t i ++++======{()|()}
()
ij P X s t j X s i P t +===
5.2 柯尔莫哥洛夫向前方程与向后方程引理5.1
设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I，p ij(t) 是t 的一致连续函数。

若连续时间齐次马尔可夫链是具有有限状态空间I={1,2, …,n}，则其转移速率可构成以下形式的矩阵(称为Q矩阵）
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡−−−=nn n n n n q q q q q q q q q "###""101111000100Q Q矩阵的每一行元素之和为0，对角线元素为负或0，其余q ij ≥0
利用Q矩阵可以推出任意时间间隔t 的转移概率所满足的方程组，从而可以求解转移概率。

柯尔莫哥洛夫向后和向前方程的矩阵表达形式为：Q
P P QP P )()((t))(t t t =′=′连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。

向前方程
向后方程
柯尔莫哥洛夫向后方程的矩阵表达形式为：
(t)
)(QP P =′t ⎥
⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡−−−=nn n n n n q q q q q q q q q "###""
1
1111000100Q ⎥
⎥
⎥
⎥⎦
⎤
⎢
⎢⎢⎢⎣⎡=)()()
()()()()()()(000000t P t P t P t P t P t P t P t P t P P(t)nn n1n 1n 111n 1"###""
柯尔莫哥洛夫向前方程的矩阵表达形式为：
()(t)t ′=P P Q
⎥
⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡−−−=nn n n n n q q q q q q q q q "###""
1
1111000100Q ⎥
⎥
⎥
⎥⎦
⎤
⎢
⎢⎢⎢⎣⎡=)()()
()()()()()()(000000t P t P t P t P t P t P t P t P t P P(t)nn n1n 1n 111n 1"###""
例题5-2：
考虑两个状态的连续时间马尔可夫链，在转移到状态1 之前在状态0 停留的时间是参数为λ的指数变量，而在回到状态0 之前它停留在状态1 的时间是参数为μ的指数分布，求转移概率P00(t), P01(t), P10(t), P11(t)。

若所有状态都是互通的，
机器维修问题
设例题5-2中状态0 代表某机器正常工作，状态1 代表机器出故障。

状态转移概率与例题5-2相同，即在h时间内，及其从正常工作变为出故障的概率为p 01(h)=λh+o(h)；在h 时间内，机器从有故障变为经修复后正常工作的概率为p 10(h)=μh+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工作的概率。

例题5-3：
000100000
0111101110110
11'()
'()()
()'()
'()()
()p t p t p t p t p t p t p t p q q q t q −⎛⎞⎛⎞⎛⎞=⎜
⎟⎜
⎟⎜⎟−⎝⎠⎝⎠⎝
⎠
向前方程：解：
纯生过程。

⎥⎦#
1,11,1()()()()(),,ij
j i j j j ij j i j p t p t p t p t i j I λλμμ−−++′=−++∈向前方程：
向后方程：
1,1,()()()()(),,ij
i i j i i ij j i j p t p t p t p t i j I μλμλ−+′=−++∈
i
作业习题5：
5.2，5.3。