如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
12345 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上. 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
12345
理论分析: 以Xn表示时刻n时Q的位置. 则{Xn ,n 0,1,2,}是一随机过程.
状态空间就是I. 且当Xn i,i I为已知时, X n1所处的状态分布只与X n i有关, 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的.
一步转移概率 pij P{ Xn1 j | Xn i}
或写成 Ftn|t1tn1 ( xn , tn | x1, x2 ,, xn1;t1, t2 ,, tn1 )
Ftn|tn1 ( xn , tn | xn1, tn1 ), 这时称过程{ X (t), t T }具马尔可夫性或无后效性. 并称此过程为马尔可夫过程.
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X (n), n 0,1,2,}.
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ Xn X (n), n 0,1, 2,}, 状态空间为 I (a1,a2 ,}, ai R .
1. 用分布律描述马尔可夫性
对任意的正整数n, r 和 0 t1 t2 tr m; ti , m, n m Ti , 有 P{ Xmn aj | Xt1 ai1 , Xt2 ai2 ,, Xt ai , Xm ai }
Xm 的 状
a1 p11
a2
p21
p12 p1 j
p22 p2 j
P(1)
态
ai
pi1
pi2
pij
记为P
三、应用举例
例1 只传输数字0和1的串联系统 ( 0 1 传输系统)
如图:
X 0 1 X1 2 X 2 X n1 n X n
X
是第一级的输入
0
Xn是第n级的输出(n 1)
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的 条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij(m, m n) 只与 i, j 及时间间距 n 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 此时, 记 Pij(m,m n) Pij(n),
即: 过程“将来”的情况与“过去”的情况是无 关的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程 设 I : 随机过程 { X (t ), t T }的状态空间,
如果对时间t的任意n个数值, tX1 (tnt2)在 条t件n ,Xn(ti 3) ,tixi下T 的 , 条恰件有分布函数 P{ X (tnX) (tnx)n在| X条(t件1 )X (xt1n,1X)(t2 )xn1x下2 ,的,条X (件tn分1 ) 布x函n1数} P{ X (tn ) xn | X (tn1 ) xn1}, xn R
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
分析: {Xn,n 0,1,2,}是一随机过程, 状态空间 I {0, 1} ,
且当Xn i,i I为已知时, X n1所处的状态分布只与X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
P{ Xmn a j | Xm ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij(m,m n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻 m n
转移到状态a j的转移概率.
说明: 转移概率具有特点
此矩阵的每一行元 素之和等于1.
一步转移概率
pij
P{ Xn1
j|
Xn
i}
p, j i q, j i,
i, j 0,1
一步转移概率矩阵
01
P 0 1
p q
q p
例2 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
12345 游动的概率规则
1 3
,
j
i
1,
i,
i
1, 1
i
ห้องสมุดไป่ตู้
5
1, i 1, j 2 或 i 5, j 4
0, j 1 2.
一
12 3 4 5
步 转 移 概 率 矩 阵
1 0 1 0 0 0
2 1/ 3 1/ 3 1/ 3 0
0
P 3 0 1/3 1/3 1/3 0
4
0
0 1/ 3 1/ 3 1/ 3
5 0 0 0 1 0
说明: 改变游动的概率规则, 就可得到不同方式的 随机游动和相应的马氏链. 如果把点 1 改为吸收壁,
相应链的转移概率矩阵只须把P 中第1行改为
(1,0,0,0,0).
例3 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下:
Pij (n) P{ Xmn a j | Xm ai }.
称为马氏链的n步转移概率
P(n) (Pij(n))为n步转移概率矩阵.
特别的, 当 n=1 时,
一步转移概率 pij Pij (1) P( Xm1 a j | Xm ai }.
一步转移概率矩阵 P(1)
X m1的状态
a1 a2 a j