1. 用分布律描述马尔可夫性
对任意 n ,r和 的 0t1 正 t2 整 trm ;数 ti,m ,n m T i, 有
P { X m n a j|X t 1 a i 1 , X t 2 a i 2 , L , X t r a i r , X m a i } P { X m n a j|X m a i} ,其中 aiI.
1 2345 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上. 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
01
P0 1
p q
பைடு நூலகம்
q p
例3 一维随机游动 一随机游动在的如质图点所示直线的点 I {1,2,3,4,5}上作随机,游 并动 且仅仅 1秒在2、 秒 等时刻发生. 游动
1 2345 游动的概率规则
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X ( n )n , 0 ,1 ,2 , }.
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n )n , 0 ,1 ,2 , }, 状态 I 空 (a 1 ,a 2 , 间 }a ,i R 为 .
即: 过程“将来”的情况与“过去”的情况是无 关的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程 设 I:随机 {X (过 t)t, T 程 }的状,态空 如果对 t的时 任 n个 间 意 数 , 值 t X 1 (tn t 2 )在 t 条 n ,X n ( t件 i3 ), t ix i下 T ,的 恰有条件分布函 P { X ( t n X ) ( tn x )n 在 | X ( t 1 条 ) X (x t1 n 件 , 1 X )( t 2 ) x n1 x 下 2 , , X 的 ( t n 1 ) 条 x n 件 1 } P { X ( t n ) x n | X ( t n 1 ) x n 1 } x n , R
P i( n j) P { X m n a j|X m a i} .
称为马氏链的n步转移概率
P(n)(Pij(n)为 ) n步转移概. 率矩阵
特别的, 当 k=1 时,
一步转移概率 p i jP i( 1 j) P ( X m 1 a j|X m a i}.
一步转移概率矩阵 P(1) Xm1的状态
泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程.
例2 只传输数字0和1的串联系统 ( 01传输系统)
如图:
X0
1 X1
2
X2
X n1
n
Xn
X0是第一级的输入 Xn是n级 第的 (n 输 1) 设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p. 分析: {Xn,n0,1,2,}是一随,机过程
j1
由转移概率组成的矩阵 P (m ,m n ) (P i( jm ,m n )
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转 P i( jm 移 ,m n 概 )只 i率 ,j与 及时 n间 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 此 ,记 P i( 时 j m ,m n ) P i( j n ),
2. 转移概率
称条件概率 P i( m j,m n ) P { X m n a j|X m a i}
为马m 氏 处链 于 a i条 在 状 ,在 件 时 态 m 时 下 n 刻 刻
转移到a状 j的态 转移. 概率
此矩阵的每一行元
说明: 转移概率具有特点
素之和等于1.
Pij(m ,mn)1,i1,2,.
或写成 F t n | t 1 t n 1 ( x n , t n |x 1 , x 2 , , x n 1 ; t 1 , t 2 , , t n 1 )
F tn |tn 1 (x n ,tn |x n 1 ,tn 1 ), 这时称{X过 (t),t程 T}具马尔可夫性 性. 或 并称此过程为马尔可夫过程.
增 X (t量 j)X (0 )与 X (tn )X (tn 1)相互 . 独 根据 X (0 ) 0 与 条 X (tn 1 ) 件 x n 1 , 即有
X(tj)与 X(tn)xn1相互.独立
此 X (t时 n )与 X (tj)j, 1 ,2 , ,n 2 相互 . 独 这X 表 (t)具 明 有,无 即 {X (t后 )t,0 }是 效一 性 马尔可夫过程. 说明:
状态I空 {0,间 1},
且X 当 ni,iI为已 , 知时 Xn1所处的状态X分 ni布 有只 关 , 与
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率 p ij P { X n 1 j|X n i} q p ,,jj ii, ij, 0 ,1
一步转移概率矩阵
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程 (系 或统 )在时 t0所 刻处的状态为 条件 ,过 下程在 t时 t0所刻 处状态的条 与过程t0在 之时 前刻 所处的特 状性 态称 无 马尔可夫性或无后效性.
a1 a2 aj
Xm 的
a 1 p11
a2
p
21
p12 p22
状 态
ai
pi1
pi2
p1 j
p1 j
P(1)
p ij
记为P
三、应用举例
例1 设 {X(t)t,0}是独立,且 增 X(0)量 0, 过 证明 {X( t),t0}是一个马尔可 . 夫过程
证明 由独立增量过程的定义知, 当 0 tj t n 1 t n ,j 1 ,2 , ,n 2 时 ,