9
称为马氏链的转移概率矩阵. 它是随机矩阵.
2、马尔可夫链的一般特性 状态概率：
概率分布列：
p j (n) P{xn a j }
p(n) p1 (n) p2 (n) pN (n)
T
转移概率：
转移矩阵：
pij (m, n) P{xn a j xm ai }
P 11 ( m, n) P(m, n) PN 1 (m, n) P 1 N ( m, n) PNN (m, n)
时的数据 (共作97次观察) . 用1表示正常状态, 用0
表示不正常状态, 所得的数据序列如下:
1110010011111110011110111111001111111110001101101 111011011010111101110111101111110011011111100111
分析
设 X n 为第 n ( n 1, 2,,97 ) 个时段的计算机状态 ,
i 1
12
N
3. 平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有齐次性. 同时也称此链是齐次的或时齐的.
此时, 记 Pij ( m , m n) Pij ( n),
Pij (n) P{ X m n a j | X m ai }.
P(n) P .
n
结论 马氏链的n步转移概率是一步转移概率的 n 次 方,链的有限维分布可由初始分布和一步转移概率 完全确定.
28
定理7.2 齐次马氏链满足
(n 1) (n) P (0) P
n1
29
例
某计算机房的一台计算机经常出故障,研究者
每隔15分钟观察一次计算机运行状态,收集了24小
或写成
Ftn |t1tn1 ( xn , tn | x1 , x2 ,, xn1; t1 , t2 ,, tn1 ) Ftn |tn1 ( xn , t n | xn1 , t n1 ),
这时称过程 { X ( t ), t T }具马尔可夫性或无后效 性.
并称此过程为马尔可夫过程.
一步转移概率
pij P{ X n1 j | X n i }
1 , j i 1, i , i 1, 1 i 5 3 1, i 1, j 2 或 i 5, j 4 0, j i 2.
22
一 步 转 移 概 率 矩 阵
1 2 3 4 5 1 0 1 0 0 0 2 1 / 3 1 / 3 1 / 3 0 0 P 3 0 1/ 3 1/ 3 1/ 3 0 4 0 0 1 / 3 1 / 3 1 / 3 5 0 0 1 0 0
件的和事件. 如下图所示:
ak ai
aj
o
m
mu
mu v n
t
25
证明
先固定 ak I和s T1 ,
pij (m, n) P{xn a j xm ai }

N
P{xn a j , xm ai } P xm ai
P{xn a j , xr ak , xm ai } P{xr ak , xm ai } P{xr ak , xm ai } P xm ai k 1
称为马氏链的n步转移概率
P ( n) ( Pij ( n))为n步转移概率矩阵 .
13
特别的, 当 n=1 时,
一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵
Xm 的 状 态
a1 a2 ai
a1 p11 p 21 p i1
1 2 游动的概率规则
3
4
5
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留
在原处;
19
5 1 2 4 3 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁.
上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
31
例
设任意相继的两天中 , 雨天转晴天的概率为
1 3 , 晴天转雨天的概率为 1 2 , 任一天晴或雨是互 为逆事件. 以 0 表示晴天状态,以1 表示雨天状态, X n 表示第n 天状态 ( 0 或 1 ) . 试写出马氏链{ X n , n 1 } 的一步转移概率矩阵 . 又已知5月1日为晴 天 , 问5月3日为晴天, 5月5日为雨天的概率各等 于多少? 为逆事件且雨天转 解 由于任一天晴或雨是互
p161 (7.13)
11
或:
(3)
p j (n) pij (m, n) pi (m)
i 1
N
N
p j (n) p X n a j , X m ai
i 1
p X n a j / X m ai p X m ai
i 1
N
pij (m, n) pi (m)
10
性质: (1)
p ( n) 1
j 1 j
N
(2)
p (m, n) P{x
j 1 ij jBiblioteka 1NNNn
a j xm ai } 1
(3)
p j (n) pij (m, n) pi (m)
i 1
(4)
p(n) PT (m, n)p(m)
p(n) p(m)P(m, n)
P (1) X m 1的状态 a2 a j p12 p1 j p22 p1 j pi 2 pij
P (1) 记为P
14
15
16
17
18
例 一维随机游动 一随机游动的质点 在如图所示直线的点集
I {1,2,3,4,5}上作随机游动, 并且仅仅在1秒、 2秒 等时刻发生游动 .
为马氏链在时刻 m处于状态ai条件下, 在时刻 m n
转移到状态a j的转移概率.
说明: 转移概率具有特点

此矩阵的每一行元 素之和等于1.
Pij ( m , m n) 1, i 1,2,. j 1
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
有
P{X mn a j | X t1 ai1 , X t2 ai2 , , X tr air , X m ai }
P{ X m n a j | X m ai }, 其中 ai I .
8
2. 转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
时间连续，状态连续。
王梓坤院士
7
研究时间和状态都是离散的随机序列
{ X n X ( n), n 0,1, 2,},
状态空间为 I (a1 , a2 ,}, ai R .
1. 用分布律描述马尔可夫性
对任意的正整数 n, r 和 0 t1 t2 tr m;
t i , m , n m Ti ,
说明: 改变游动的概率规则, 就可得到不同方式的
随机游动和相应的马氏链. 如果把点 1 改为吸收壁, 相应链的转移概率矩阵只须把P 中第1行改为 (1,0,0,0,0).
23
定理7.1（切普曼-科尔莫戈罗夫方程：C-K方程）： 马尔可夫链的转移概率矩阵满足
pij (m, n) pik (m, r ) pkj (r , n)，n r m
1
2
3
4
5
20
理论分析: 以X n表示时刻n时Q的位置.
则{ X n , n 0,1,2,}是一随机过程 .
状态空间就是I.
且当X n i , i I为已知时, X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的.
21
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X ( n), n 0,1,2,}.
6
马尔可夫过程分类： 1.马尔可夫链 时间离散，状态离散； 2.离散马尔可夫过程 时间连续，状态离散； 3.马尔可夫序列 时间离散，状态连续；
马尔可夫
4.连续马尔可夫过程
k 1
N
说明 C-K 方程基于下列事实:
“从时刻 m 所处的状态 ai 出发 , 经时段 n m 转移到状态 a j , X (n) a j” .
24
这一事件可分解成:
“从 X (m) ai 出发, 先经时段u 转移到中间状态
ak ( k 1, 2), 在从 ak 经时段 v 转移到状态 a j”等事
状态空间: I={0, 1}.
30
96 次状态转移的情况: 0 0, 8次;
0 1, 18次; 1 0, 18次; 1 1, 52次.
因此, 一步转移概率可用频率近似地表示为: 8 8 p00 P{ X n1 0 | X n 0} , 8 18 26 18 18 p01 P{ X n1 1 | X n 0} , 8 18 26 18 18 p10 P{ X n 1 0 | X n 1} , 18 52 70 52 52 p11 P{ X n 1 1 | X n 1} . 18 52 70
4
2. 马尔可夫过程的定义