pij (t ) 1, j E
j 1
pij (t ) 1
j 1
M
又因为 即
p j 0,
M M lim lim pij (t ) lim p j 1 M t M j 1 j 1
p
j 1

j
1, j 1, 2,...
dt
lim
pij (t t ) pij (t )
N
t 0
t
ik
lim
p
k 0
N ik
(t ) pkj (t ) pij (t ) t
N
t 0
lim
N
p
k 0
(t ) pkj (t ) pik (t ) kj
k 0
t 0
t
pik (t ) lim
时齐马尔科夫过程的转移概率
pij (s)=pij (t, t s) P{X t s j | X (t ) i}, t 0, s 0
性质
(1) 0 pij (s) 1 , (2)
p (s) 1,
ij j
i, j 1, 2,...(有限或无限)
一般的，规定
t j 1 j 1 t j 1 N N N
满足 即
p j 0,
p
j 1
N
j
1, j 1, 2,...N
p ,
j
j 1, 2,...N 构成一个概率分布
在此称为转移概率的极限分布 有限状态的遍历的马尔科夫过程必存在极限分布
遍历性
说明2： 若马尔科夫过程为无限状态的，则有，
X (t), t (0, )为一马尔科夫过程，其状态空间
E {0,1,2, } 或为有限子集。令
pi (0) P{X (0) i}, i E
且对任意的
iE
，均有
(1)
pi
(0)
0
(2)
p
iE
(0)
i
1
(0) { p 则称 i , i E} 为该马尔科夫过程的初始分布，
k 0
pkj (t ) kj t
t 0
pik (t )qkj
k 0
N
证明2
dpij (t ) dt
lim
pij (t t ) pij (t ) t
t 0
lim
p
k 0
N ik
N
ik
(t ) pkj (t ) pij (t ) t
t 0
j 1
N
j 1, 2,...N
(2)
满足条件
(1)p j 0,
pj 1
j 1
N
的唯一解
注：此定理给出了求极限分布(平稳分布)的方法
科尔莫哥洛夫向前方程
dpij (t ) dt pik (t )qkj , i, j 0,1, 2,...N
k 0 N
科尔莫哥洛夫向后方程
dpij (t ) dt qik pkj (t ), i, j 0,1, 2,...N
k 0 N
注：无限马尔科夫过程也有类似结论
证明： dpij (t )
lim pij (t ) p j , i, j E
t
存在且与 i 无关，则称此马尔科夫链具有遍历性 此时，若满足 则称
p j 0,
p
j
j
1
p j , j E 为转移概率函数的极限分布
遍历性
说明1： 若马尔科夫过程为有限状态的，显然有，
lim pij (t ) lim pij (t ) p j 1
科尔莫哥洛夫向前和向后方程
1、速率函数 设 X (t), t (0, ) 是状态有限的马尔科夫过程， 1, i j 若 lim pij (t ) ij t 0 0, i j
t 0
lim
pij (t ) ij t
qij , i, j 0,1,...N
性质(3)的证明：
qij =
j 0
N

j 0
N
t 0
lim
pij (t ) ij t p ( Nhomakorabea )
= lim
t 0 j 0 ij j 0
N
N
ij
t
=0
定理 设随机连续状态有限马尔科夫过程的转移 概率函数为 pij (t ) ，速率函数为 qij ，则有
满足
P{X tm s j | X (t1 ) i1, X (t2 ) i2 , ..., X (tm ) im}
P{X tm s j | X (tm ) im}
则称 { X n } 为马尔科夫过程。
2、转移概率及性质
pij (t, t s) P{X t s j | X (t ) i}, t 0, s 0
i t i
即
lim p
t
(t ) j
pj
即：绝对概率的极限与转移概率的极限相同
定理 对有限马尔科夫过程，如果存在正数 t0 0 ， 使得 pij (t0 ) 0, i, j 1, 2,...N
则此链是遍历的，
且极限分布
p ，j 1, 2,...N
j
是方程组
p j pi pij ,
p ,
j
j 1, 2,...N
不一定构成一个概率分布
无限状态的遍历的马尔科夫过程不一定存在极限分布， 只有其极限概率构成概率分布时才存在极限分布
绝对概率的极限
lim p(jt ) lim pi(0) pij (t )
t t i
pi(0) lim pij (t ) pi(0) p j p j
1, i j pij (0)= ij 0, i j
3
切普曼-柯尔莫哥洛夫方程（C-K方程）
，有
转移概率之间有如下关系: 对 t 0, s 0
pij ( s t ) pir ( s) prj (t ), i, j 0,1, 2...
r
4 初始分布与绝对分布 （1）初始分布
'
称 qij 为速率函数，即 qij p (0 )
速率函数刻画了过程的转移概率函数在零时刻 对时间的变化率
2、速率函数的性质
(1) qii 0, i 0,1,...N
(2) qij 0, i j, i, j 0,1,...N
(3)
q
j 0
N
ij
0， i 0,1,...N
也称初始概率。初始概率是在初始时间 t 0 时处 于状态i的概率。
（2）绝对分布 当 t 0 时，取各状态的概率称为绝对概率或绝对分布。
设
X (t), t (0, )
为一马尔科夫过程，其状态空间 E {0,1,2, } 或为有限子集。令
pi (t ) P{X (t ) i}, i E
马尔科夫过程
1、马尔科夫过程的定义 定义：设时间连续状态离散的随机过程 X (t ), t (0, ) 其状态空间 E {i1 , i2 , , iN ,...} ，若对任意整数m
i1,i2 , ..., im , j E 任意m个时刻 t1, t2 ,...tm , 及任意正数s，
lim
N
p
k 0
(t ) pkj (t ) ik pkj (t )
k 0
N
t 0
t
N pik (t ) ik (lim ) pkj (t ) qik pkj (t ) t 0 t k 0 k 0
遍历性
定义 若马尔科夫过程转移概率的极限
且对任意的 i E 均有
(1)
pi (t ) 0
(2)
p (t ) 1
iE i
则称 { pi (t ), i E} 为绝对分布，也称绝对概率。 绝对概率由初始分布和相应的转移概率唯一确定。
p j (t ) P{X (t ) j} pi pij (t )
(0) iE