.
8
第六章 Markov链
第一节 基本概念
1. 转移概率
２. Chapman-kolmogorov方程
3. ቤተ መጻሕፍቲ ባይዱarkov链的分布
4.齐次Markov链
５.Markov 链举例
.
9
第一节 基本概念
1. 转移概率
定义 设 {Xn,n0}是马尔可夫链,称条件概率
p i ( j k ) ( n ) @ P ( X n k jX n i ) ,i ,j S ,n 0 ,k 1
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 3）绝对分布
Q
q(n) j
P(Xn
j)
U P( (X0i),Xnj)
i
U P( (X0i,Xnj)
i
P(X0i,Xnj) i
P (X 0 i)P (X njX 0 i) i
q i(0 )p i(jn )(0 . ) n 0 ,i,j S i
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布
P ( X 0 i ) P ( X t 1 i 1 X 0 i ) P ( X t 2 i 2 X 0 i ,X t 1 i 1 ) i L P ( X t n i n X 0 i ,X t 1 i 1 , L ,X t n 1 i n 1 )
i
.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 2）有限维分布 又因为马尔可夫链的k步转移概率由一步转移概率所 完全确定. 所以马尔可夫链的有限维分布由其初始分布和 一步转移概率所完全确定.
.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
3）绝对分布
称 q ( jn )@ P (X nj), n 0 ,j S
在 条 件 X ( t n 1 ) x n 1 下 的 条 件 分 布 函 数 , 即
P (X (tn)xnX (t1)x 1,X (t2)x2,L,X (tn 1)xn 1) P (X (tn)xnX (tn 1)xn 1), xn R
则 称 { X ( t) ,t T } 为 马 . 尔 可 夫 过 程 .
t t0 过去
t t0
现在
.
t t0 将来
2. 马尔可夫过程 定义 设 {X(t),tT}的状态空间为S,
如 果 对 n 2 , t 1 t2 L tn T , 在 条 件 X ( t i ) x i ,x i S ,i 1 , 2 , L , n 1 下
X (tn ) 的条件分布函数恰好等于
为{Xn,n0}在n时的k步转移概率. (它表示系统{X n , n 0}在n时处于状态i的条件下
经过k步转移,于n+k时到达状态j的条件概率).
称
以
p(k ij
)
(n
)为
第
i行
底
j列
元
素
的
矩
阵
P
(k
)
(n)
(
p(k ij
)
(n))
为 系 统 {Xn,n0}在 n时的k步转移概率矩阵. .
第一节 基本概念
.
第一节 基本概念
4.齐次马尔可夫链
为方便，一般假定时间起点为零．即
p(k) ij
P(Xk
j
X0
i)
i, j S,k 0
相应的k步与一步转移概率矩阵分别记为 P (k)与 P
定理 (1) P(k) Pk , k 0;
(2) q(k) q(0)Pk , k 0;
(3) {Xn, n 0}的有限维分布由其初始分布和一 步转移概率所完全确定
1．马尔可夫性 定义 设 {X(t),tT}是一个随机过程，如果
{X(t),tT}在t0时刻所处的状态为已知，它在
时刻 t t0 所处状态的条件分布与其在 t0 之前
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称{X(t),tT} 具有马尔可夫（Markov)性。
.
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则 {Xn,n0}是以 S{0,1}为状态空间的齐次马尔可夫链.
)
的(行)向量
q
(
0
)为马尔可夫链的
初始分布向量. 即 q(0) (qi(0))
.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布 定理 马尔可夫链{Xn,n0}的有限维分布由其
初始分布和一步转移概率所完全确定.
证明 Q 对 n 1 , 0 t 1 t 2 L t n , i 1 , i 2 , L , i n , i S
.
Markov 过程
.
Markov过程
安德雷.安德耶维奇.马尔可夫 (A.A.Markov): 俄数学家，1856~1922 概率和统计领域专家。
当年Markov研究普希金诗歌里元音字母和辅 音字母交替出现的规律时提出了Markov过程的数 学模型
Markov过程80年代兴起，在现代工程、自然 科2学020/、4/27社会科学中应用广泛.。
r
（ 2） 移 动 前 i0处
p0,r00,p0r01
p0
0
1
r0
（ 3） 移 动 前 ia处
qa
qa,ra0,qara1
.
a-1
a
ra
第一节 基本概念
５.马尔可夫链举例 例2(有限制随机游动问题)
设Xn表示质点在n时刻所处的位置，则
{ X n ,n 0 } 是 以 S { 0 ,1 ,L ,a } 为 状 态 空 间 的 齐 次 马 尔 可 夫 链 . 其一步转移概率矩阵为
P { X t1 i1 ,X t2 i2 ,L ,X tn in }
U P {(X 0 i),X t1 i1 ,X t2 i2 ,L ,X tn in }
i
U P {(X 0 i,X t1 i1 ,X t2 i2 ,L ,X tn in )}
i
P (X 0 i,X t1 i1 .,X t2 i2 ,L ,X tn in ) i
L
P ( n ) P ( n 1 ) L P ( n k 1 ) P ( n k )
分量形式
(n, k 0)
p i ( j k 1 ) ( n ) Lp i j 1 ( n ) p j 1 j 2 ( n 1 ) L p j k j( n k ) j 1j 2 j k . (n,k0,i,jS)
pij1 ,( i)
j
显然，{X n , n 0}在n时的k步转移概率矩阵 P(k) (n)
是一随机矩阵.
特别 k＝０时，约定
p(0) ij
ij
1 0,
ij ij
i,jS,n0
此 时 P (0 )(n ) I为 . 单 位 矩 阵 .
第一节 基本概念
２. Chapman-kolmogorov方程
P ( X 0 i ) P ( X t 1 i 1 X 0 i ) P ( X t 2 i 2 X t 1 i 1 )
i
LP(Xtn in Xtn1in1)
q i (0 )p iti 1 1 (0 )p it1 2 i2 t1 (t1 )L p itn n 1 it n n 1 (tn 1 ).
1. 转移概率
特别 当k=1时，
p (1) ij
(n
)为
系
统
在
n时
的
一
步
转
移
概
率
,
记为 pij (n)
P
(1)
(n)
(
p (1) ij
(n))为系统的一步转移概率矩阵
记 为P(n)pij(n)
.
第一节 基本概念
1. 转移概率
定义 称可数维的矩阵 P(pij)为随机矩阵，如果
pij0,( i,j)
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程
称为马尔可夫链。 注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对 n 2 , t 1 t 2 L t n T , i 1 , i 2 , L , i n S ,
有 P (X (tn) inX (t1 ) i1,X (t2) i2,L,X (tn 1 ) in 1 ) P (X (tn) inX (tn 1 ) in 1 ), x n R
第一节 基本概念
２. Chapman-kolmogorov方程
C-K方程的直观意义：
系统在n 时从状态i的出发,经过k+m步转移,于 n+k+m时到达状态j,可以先在n时从状态i出发，经 过k步转移于n+k时到达某种中间状态l,再在n+k时 从中间状态l出发经过m步转移于n+k+m时到达最 终状态j,而中间状态l要取遍整个状态空间S.
证明 P (X n k l,X n k m j)X n i)
l
P ( X n k lX n i ) P ( X n k m jX n i ,X n k l )
l
P ( X n k lX n i) P ( X n k m jX n k l) l
pi(lk)(n)pl(jm)(n. k)
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
p i ( j k m ) ( n ) p i ( l k ) ( n ) p l ( j m ) ( n k ) ,n ,m ,k 0 ,i ,j S l