5 4 1 2 3 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁.
上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
2
3
4
5
理论分析: 以X n表示时刻n时Q的位置.
状态空间 I {0, 1} ,
且当X n i , i I为已知时, X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率
p, j i pij P{ X n1 j | X n i } i, j 0,1 q , j i , 0 1 0 p q 一步转移概率矩阵 P q p 1
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为
简记为 { X n X ( n), n 0,1,2,}. 可夫链,
马尔
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n), n 0,1, 2,},
状态空间为 I (a1 , a2 ,}, ai R .
则{ X n , n 0,1,2,}是一随机过程 .
状态空间就是I.
且当X n i , i I为已知时,
X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij P{ X n1 j | X n i }
P{ X m n a j | X m ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
为马氏链在时刻m处于状态ai条件下, 在时刻 m n
此矩阵的每一行元 说明: 转移概率具有特点 素之和等于1. Pij (m, m n) 1, i 1,2,.
此时, 记 Pij ( m , m n) Pij ( n),
Pij (n) P{ X m n a j | X m ai }.
称为马氏链的n步转移概率
P ( n) ( Pij ( n))为n步转移概率矩阵.
特别的, 当 n=1 时,
一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵
三、应用举例
传输系 01 例1 只传输数字0和1的串联系统 ( 如图: X n 1 Xn X1 X2 X0 n 2 1
X 0是第一级的输入
X n是第n级的输出 (n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
, 分析: { X n , n 0,1,2,}是一随机过程
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
tX t2 t n , X n ( T, 恰有 1 (tn )在条件 ti 3 ) ,tix 下的条件分布函数 i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R
例2 一维随机游动 一随机游动的质点 在如图所示直线的点集
I {1,2,3,4,5}上作随机游动, 并且仅仅在1秒、 2秒 等时刻发生游动 .
1 2 游动的(1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
a1
Xm 的 状 态
a1 p11 a2 p21 ai pi1

P (1) X m 1的状态 a2 a j
p12 p1 j p22 p2 j pi 2 pij P (1) 记为P
1. 用分布律描述马尔可夫性
对任意的正整数 n, r 和 0 t1 t2 tr m;
t i , m , n m Ti , 有 P{ X m n a j | X t1 ai1 , X t 2 ai2 , , X t ai , X m ai }
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念
二、马尔可夫过程的概率分布
三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与
与过程在时刻t0之前所处的状态无关的特性称为
马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是 无关的.
或写成
Ftn |t1tn 1 ( xn , t n | x1 , x2 ,, xn1 ; t1 , t 2 ,, t n1 ) Ftn |tn 1 ( xn , t n | xn1 , t n1 ),
这时称过程 { X ( t ), t T }具马尔可夫性或无后效 性.
并称此过程为马尔可夫过程.
j 1
转移到状态a j的转移概率.
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.