解
qij
lim Pij(Δt)
Δto
Δt
δi j
qij 0 j
λ
λ
0
0 0
Q
μ
(λ μ)
λ
0
0
0
μ
(λ μ)
λ
0
0
0
μ
(λ μ)
λ
0
0
0
0
0
主要内容
➢ (纯不连续)马尔可夫过程 ➢ 马尔可夫过程的数学描述 ➢ 马尔可夫过程的转移概率方程 ➢ 马尔可夫过程的状态概率方程 ➢ 马尔可夫过程的稳态分布 ➢ 典型马尔可夫过程
pn0(t)
p01(t) p11(t)
pn1(t)
p0n(t) p1n(t)
Байду номын сангаасpnn ( t)
跳跃强度矩阵： (转移率矩阵)
qij = p'ij(t)
Q
q00 q10
q01 q11
qn0 qn1
q0n q1n
qnn
和为零 非正
状态概率矩阵： （状态矢量）
w (t) w0(t), w1(t), ，wn(t)
其中：
qij
lim Pij(Δt) δi j
Δto
Δt
称为参数连续状态
离散马尔可夫过程的无穷小转移率 或 跳跃强度。
性质：
qij 0
j
qi1 1+qii
qi2
i
qi3
qi4
马尔可夫过程的数学描述：跳跃强度矩阵
跳跃强度(转移率)矩阵：
Q
q00 q10
q01 q11
qn0 qn1
每一行的所有元素之和为零
Pi j ( ) 0,
i, j I , t 0
Pi j ( ) 1,
jI
iI,t 0
lim 0
Pi j (
) ij
0, 1,
i j i j
➢pij(t)是t 的一致连续函数且可微
马尔可夫过程的数学描述：跳跃强度Q
定 对于一个很小的正的Δt
义 Pij(Δt) Pij(0) qij Δt o(Δt) δ ij qij Δt o(Δt)
右移动一格；
若在时刻 t 质点位于5，则以后远停留在5；
在(t+Δt)发生其他移动的概率是o(Δt)。
求 跳跃强度矩阵。
例
例1：确定跳跃强度
随机游动
λΔt+o(Δt)
1
x
1
2
3
4
5
μΔt+o(Δt)
游动规则，(t, t+Δt)中，右移一格概率为λΔt+o(Δt)，左移
一格概率为μΔt+o(Δt)；
马尔可夫过程
马尔可夫性：现在状态一确定，将来与过去无关 马尔可夫过程：若 t1<t2<...<tn+1∈T
F (x / x , x , x ) F (x / x ) tn1 /t1 ,t2 tn
tn1
t1 t2
tn
tn1 / tn
tn1
tn
P(x1 , xm , xm1 ) P(xm1 / xm ) P(x2 / x1 ) P(x1 )
服务台只有一个服务员，顾客所需服务时间是负指数分布的 随机变量，平均服务时间是1/μ；
若服务台空闲，则到达的顾客立刻得到服务； 若服务员正忙，则到达的顾客必须排队等候； 若顾客到达时有N人在等候，就离开且不再回来,则….
问： 1）t 时刻系统内有n个顾客的概率
2） 队列长度分布？等候时间分布？多服务员？多队列?...
例
例1：确定跳跃强度
λΔt+o(Δt)
1
x
1
2
3
4
5
μΔt+o(Δt)
在[1,5]上有个质点在整数点上作随机游动。
质点任何时刻都可能发生移动
若在时刻 t 质点位于2~4，则在(t+Δt)中以概率λΔt+o(Δt)
向右移动，以概率μΔt+o(Δt)向左移动
若在时刻 t 质点位于1，则在(t+Δt)中以概率λΔt +o(Δt)向
损坏后的修复时间： 典型地也是一个负指数分布的随机变量 平均修复时间为 1/μ；
问： 1) 一个系统正常启动后, 10小时以后正常工作的概率？
2) 系统平均无故障时间MTBF？平均修复时间MTTR？…
典型问题：排队论
N(t) t
到达某个服务台的顾客流是一个强度为 λ 的泊松过程，单位 时间到达服务台的平均人数为λ；
转移概率函数非负，按 j 求和为 1
定 义
转移概率矩阵： P(t)
行 p (t)：前向转移
p00(t) p10(t)
p01(t) p11(t)
i
列 s (t)：后向转移 j
pn0(t) pn1(t)
p0n(t) p1n(t)
pnn ( t)
马尔可夫过程的数学描述： pij(t)
t2 t1
对角线上各元素为非正
非对角线（i≠j）上的元素非负
q0n q1n
qnn
qi1 1+qii
qi2
i
qi3
qi4
马尔可夫过程的数学描述
齐次纯不连续马尔可夫过程 的数学描述：
转移概率： p (t)， i,j∈T
ij
转移概率矩阵
P(t)
p00(t) p10(t)
p (t)：前向转移 i
s (t)：后向转移 j
主要内容
➢ (纯不连续)马尔可夫过程 ➢ 马尔可夫过程的数学描述 ➢ 马尔可夫过程的转移概率方程 ➢ 马尔可夫过程的状态概率方程 ➢ 马尔可夫过程的稳态分布 ➢ 典型马尔可夫过程
典型问题：(设备、系统)可靠性分析
正常
正常
正常
正常
维修
维修
维修
t
从可靠性的角度，有"正常工作"或"修复中"两种状态
正常工作时间： 典型地是一个负指数分布的随机变量 平均正常工作时间为1/λ；
马尔可夫过程的数学描述：w(t)，P(t)
定 状态概率：离散状态马氏过程，状态空间I，称其在 t 时刻 义 过程取 j 状态的概率为wj(t) = P{ξ(t)=j}
状态概率矩阵： w (t) w0(t), w1(t), ，wn(t)
定 转移概率： P{ξ(t2)=j/ξ(t1)=i } ： 义 齐次条件：转移概率只是时间差的函数 Pij(t2-t1)
马尔可夫过程
马尔可夫性：现在状态一确定，将来与过去无关
定 纯不连续马尔可夫过程：参数连续、状态离散 义
P ξ(tm1 ) j / ξ(t1 ) i1 , ,ξ(tm ) im P ξ(tm1 ) j / ξ(tm ) im
齐次特性：
P ξ(t2) j / ξ(t1 ) i pij(t2 t1 )
马尔可夫链：离散参数、离散状态
纯不连续马尔可夫过程：参数连续、状态离散
定 P ξ(tm1 ) j / ξ(t1 ) i1 , ,ξ(tm ) im
义
P ξ(tm1 ) j / ξ(tm ) im
齐次特性： P ξ(t2 ) j / ξ(t1 ) i pij(t2 t1 )
马尔可夫过程的数学描述：跳跃强度
定 对于一个很小的正的Δt：