例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
p
m 右反射壁
0 左反射壁
1
2
m-1
q q 0 P1 ... 0 0
p 0 0 0 ... 0 0 0 0 p 0 0 ... 0 0 0 q 0 p 0 ... 0 0 0 ... ... ... ... ... ... ... ... 0 0 0 0 ... q 0 p 0 0 0 0 ... 0 q p
首页
Hale Waihona Puke q q P1 0 ...
p 0 q ...
0 p 0 ...
0 0 p ...
0 0 0 ...
... ... ... ...
q 0 反 射 壁
p 1 2 3
首页
例 3 ．一个圆周上共有 N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率 q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2,..., N }
1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1 6 1 6 1 6 1 6 1 6 0
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p q r 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n 局时甲获得的分数。 （1）写出状态空间； （2）求 P(2) ； （3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？
练习题． 扔一颗色子，若前 n 次扔出的点数的最大值为 j ， 就说 X n j, 试问 X n j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2，3，4，5，6}
首页
1 1 1 6 6 6 0 2 1 6 6 3 0 0 P 6 0 0 0 0 ... 0 0 ... 0
E {..., 2, 1,0,1,2,...}
... ... P1 ... ...
首页
... 0 0 ...
... p 0 ...
... r p ...
... q r ...
... 0 q ...
... 0 0 ...
... ... ... ...
5 ．设袋中有 a 个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有 k 个白球，则称系统处于状态 k ， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （ 1 ）若移动前在 0 处，则下一步以概率 p 向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置， 则 { X n ， n 0 }是一个齐次马氏链，写出其一步转 移概率。 首页
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
1 其一步转 1 移矩阵为 2 0 P 1 0 0
0 0 1 2 0 0
0 1 2 0 1 2 0
0 0 1 2 0 0
0 0 0 1 2 1
首页
有两个吸收壁的随机游动
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 首页 0 ... 0 0
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
0 0 0 p 1
首页
（2）二步转移概率矩阵
P
(2)
P
2
1 q rp q2 0 0
0 r 2 pq 2rq q 0
2
0 2 pr r 2 2 pq 2qr 0
0 p2 2 pr r pq 0