1 5 5 , 3 16 48
p1(2) P{ X 2 1} p0(0) p01(2) p1(0) p11(2) p2(0) p21(2) 1 ( 5 1 9 ) 11 .
3 16 2 16 24
例4 一质点在圆周上做随机游动,圆周上共有N格, 质点以概率 p顺时针移动一格,以概率 q 1 p逆时 针 移 动 一 格, 试 用 马 尔 可 夫 链 描 述 游动 过 程, 确 定 状 态空间和转移概率矩阵.
解 状态空间为 S 1, 2, , N .
pi,i1 p, i 1, 2, , N 1, pi,i1 q, i 2, , N .
pN ,1 p,
p1,N q,
例5 试证Wiener过程B(t)是马尔可夫过程. 证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
随机过程
随机过程的数字特征
独 立泊维 增松纳 量过过 过程程 程
均值函数 均方值函数 方差函数 自相关函数 自协方差函数
主要内容（续）
马尔可夫过程
齐 次
C-K 方程
马尔可夫链
马 尔
可
遍历性
夫
转移概率矩阵
链
充要条件
三、典型例题
例 1 设随机过程 X (t ) Y1 Y2t, Y1, Y2 相互独立并 且服从 N (0, 1) 分布.
B(u)(0 u s)} p{B(t s) B(s) y x} 独立增量性 p{B(t s) B(s) y | B(s) x}.
备用例题
(1) 求 X (t) 的一维分布;
(2) 求 X (t) 的均值函数, 方差函数,自协方差函数.
解 (1) 因为 Y1, Y2 相互独立且同服从标准正态分布, 所以对 t T , Y1 Y2t～N (0,1 t 2 ), 故 X (t) 的一维
分布函数为
F ( x, t )
P{Y1
(
Y2t x ).
第四章 随机过程 习题课
一、重点和难点 二、主要内容 三、典型例题
一、重点和难点
1.重点
随机过程的概念与分类
随机过程的统计描述 泊松过程和维纳过程 平稳性
马氏链 n 步转移概率的确定
2.难点
随机过程数字特征的计算 随机过程理论的应用
有限维分布律的计算方法 遍历性问题
二、主要内容
随机过程的分布函数
1 t2;
C XX (t1 , t2 ) E[(Y1 Y2t1 )(Y1 Y2t2 )]
E[(Y1 Y2t1 )]E[(Y1 Y2t2 )]
E[Y12 (t1 t2 )Y1Y2 t1t2Y22 ]
1 t1t2 .
例2 设齐马尔可夫链的转移概率矩阵为
1 3 1 P 12
x}
P Y11Yt22t
1 t2
x
1
t
2
(2) X (t) E[ X (t)] E[Y1 Y2t] 0;
2 X
(t)
E{[X (t)]2 }
{E[X (t)]}2
E[(Y1 Y2t )2 ] E(Y12 2Y1Y2t Y22t 2 )
E(Y12 ) 2tE(Y1 )E(Y2 ) t 2 E(Y22 )
2 3
4
14 4
(1) (2)
P{ X0 0, X2 1}; P{ X2 1}.
解 先求出2步转移概率矩阵.
5 5 1
8 16 16
P(2)
P2
5
1
3
.
136
2 9
116
16 16 4
于是
P{ X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0}
p0(0) p01(2)
1
3 1
2 1
1 3 0
0
0
0
1
.
(1) 问马尔可夫链有几个 状态?
(2) 问从第二状态至少几
4 4 2
0
1 2
0
1 2
步才能到第三状态?
(3) 求2步转移概率矩阵.
解 (1) 有4个状态,状态空间为
S 1, 2, 3, 4 .
(2) 从第二状态至少2步才能到第三状态
13 13 1 1
36 36 9 6
5
5
1
0
(3)
P 2 PP 152
12 11
6 1
1.
24 14 12 4
1 4
1 2
0
1 4
2 1 3.
例3 设Xn,n 0是具有三个状态的齐次马氏链,一
步转移概率矩阵为
3 4
1 4
0
初始布pi (0)
P{ X 0
i}
1, 3
P
1
1
1, i 0, 1, 2, 求 :
4 0