二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n

2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
i
i i+1
i 1
i+2
i 2
i+3
n 1
…
n
n
…
最简单的纯生过程的例子是泊松过程，它具有常值出生率
则称状态 i 为吸收的，因为一旦进入这一状态就永不再离开了。
一个连续时间马尔可夫链称为规则的，若以概率 1 在任意有 限时间内的转移次数是有限的。
例 ： 一 个 非 规 则 的 马 尔 可 夫 链 的 例 子 是 Pi ,i 1 1, vi i 2 .i 1, 2,，则这个马尔可夫链总是从状态 i 到 i+1，停留在状态 i 的时间服从均值为1/ i 2 的指数分布，它将以 正的概率在任意长为 t， （因 (t 0) 的时间区间内作无限多次转移 1 1 2 为 Pi ,i 1 1, vi i , 2 ） 。假设所考虑的全部马尔可 i 1 v i i 1 i 夫链是规则的。
0
t
= (1 e 3 ( t x ) )2 e x (1 e t )dx (1 e t )3
0
t
一般地可用归纳法证明 P{T1 T2 T j t } (1 e t ) j 因此，由 P{T1 T2 Tj t } P{ X (t ) j 1 | X (0) 1} 可见对 于一个尤尔过程，
P1 j ( t ) (1 e t ) j 1 (1 e t ) j e t (1 e t ) j 1 , j 1
从上可见，从一个个体开始，在时刻 t 群体的总量有几何分 布，其均值为 e t 。因此如果群体从 i 个个体开始，在时刻 t 其总 量是 i 个独立同几何分布随机变量之和，有负二项分布，也即对 尤尔过程
1 ti t ji Pij ( t ) C ij e (1 e ) , ji 1 1
i
i
(i 1)
i+1 i+2
(i 2)
i+3
(n 1)
…
n
n
…
关于从一个个体开始的尤尔过程的另一个有趣的结果涉及 时刻 t 的群体总量给定时出生时刻的条件分布。 因为第 i 个出生 时刻 Si T1 T2 Ti ， 所以计算已给 X (t ) n 1时 S1,S2,, Sn 的条件联合分布。直观地推导，并将密度当作概率处理可得， 对 0≤s1≤s2≤≤ sn≤t
P{ X ( s y) i ,0 y t | X ( s) i , X (u) i ,0 u s} P{ X ( s y ) i ,0 y t | X ( s) i }
P{ X ( y) i ,0 y t | X (0) i }
0
0 1
1
2 …
2
3
n 1
…
n
n
1
2
3
n
n1
图中的圆圈表示状态，圆圈中的标号是状态符号。图中的箭头表 示从一个状态到另一个状态的转移。
例 5.3(a) 两个生灭过程。 (1) M/M/s 排队系统.顾客按照参数为 的泊松过程来到一个 有 s 个服务员的服务站,每个顾客一来到,如果有服务员空闲,则 直接进入服务 ,否则顾客排队等待 .当一个服务员结束对一位顾 客的服务时,顾客便离开服务系统,排队中的下一个顾客 (若有顾 客在等待)进入服务.相继的服务时间是独立的指数随机变量 ,均 值为 1/.以 X(t)记时刻 t 系统中的人数,则{X(t),t0}是生灭过程.
v i qij 的指数分布。
ji
以 Pij ( t ) 记马尔可夫链现在处于状态 i，再经过一段时间 t 后处于状态 j 的概率，即 Pij (t ) P{ X (t s ) j | X ( s ) i }
三、生灭过程 定义：具有状态 0,1,2, 的连续时间马尔可夫链若 | i j | 1 时
第五章 连续时间马尔可夫链 一、连续时间马尔可夫链概念 定义：{X(t),t0}为取非负整数值的连续时间随机过程，如 果对一切 s，t0，0u s 及非负整数 i，j，x(u)有
P{ X (t s) j | X ( s) i , X (u) x(u),0 u s} P{ X (t s} j | X ( s) i }
P{ i t }
i 0
i s
i s+y
i s+t
i
i
连续时间马尔可夫链是一个具有如下性质的随机过程，每 当它进入状态 i： (1)在转移到另一状态之前处于状态 i 的时间服从指数分布， 参数为 v i ；与下一个到达的状态独立。
(2)当过程离开状态 i 时， 接着以某个概率记为 Pij 进入状态 j，
i
i
(i 1)
i+1 i+2
(i 2)
i+3
(n 1)
n
n … … 考虑一尤尔过程，在时刻 0 从一个个体开始，且以Ti ( i 1) 记第 i-1 次与第 i 次生育之间的时间。即Ti 是群体总量从 i 变到 i+1 所花的时间。 从尤尔过程的定义得到Ti ( i 1)是独立的， 且Ti 是具有参数 i 的指数变量。现在 2 n (n 1) n 1 2 3 … …
qij 0，则称为生灭过程。一个生灭过程从状态 i 只能转移到状
态 i-1 或 i+1，当状态增长 l 时，就说生了一个；而当它减少 1 分别称为生长率与死亡率。因为
vi i i , Pi ,i 1
时， 就说死了一个。 设 i qi ,i 1， 值{i , i 0 }与{ i , i 1} i qi ,i 1 ，
则过程{X(t),t0}称为连续时间马尔可夫链。
若又有 P{ X (t s ) j | X ( s ) i }与 s 无关则称连续时间马尔可夫 链是平稳的或齐次的。本章研究的马尔可夫链都是齐次的。
连续时间马尔可夫链是具有马尔可夫性的随机过程，即已 知现在 s 时的状态 X(s)及一切过去时刻 u,0u<s 的状态 X(u)的 条件下在将来时刻 t+s 的状态 X(t+s)的条件分布只依赖现在的状 态 X(s)而与过去独立。
n , n 0 。

0 1

2

3

…

n

…
第二个纯生过程的例子是这样的，群体中各个成员独立地活动且以指 数率 生育。若假设没有任何成员死亡，以 X(t)记时刻 t 群体的总量， 则{X(t),t0}是一个纯生过程，此纯生过程被称为尤尔过程,由 i 个个体 开始的尤尔过程， n n , n i 。
对一切 i j ， qij 定义为 qij vi Pij 因为 v i 是过程离开状态 i 的速率而 Pij 是它转移到 j 的概率，所以
qij 是过程从状态 i 转移到状态 j 的速率；称 qij 是从 i 到 j 的转移
率。显然 vi qij
ji
因此，可以这样设想马尔可夫过程，每当过程处于状态 i 时， 直 到 转 移 到 状 态 j 的 时 间 服 从 参 数 为 qij 的 指 数 分 布 ， 则在 i 逗留时间为 j 0,1,, i 1, i 1,且这些时间互相独立， 直到转移到各状态的时间中的最短的时间，服从参数为
i
1 et
P1 j ( t ) e t (1 e t ) j 1 , j 1
因此，给定 X(t)=n+1 时 S1,S2,, Sn 的条件密度为 (5.3.1)
f ( s1 , , sn | n 1) n ! f ( si ),0 s1 s2 sn t
P
ji
ij
1。 （ 若 用 Xn 表 示 第 n 次 转 移 进 入 的 状 态 ， 则
{ X n : n 0,1, 2,}为马尔可夫链，称为嵌入马尔可夫链。 ）