所以，u是P的一个固定概率向量。
46/16
(3)正规概率矩阵的性质
设P是正规概率矩阵，则已被证明： ① P恰有一个固定概率向量u，且u的所有元素都 是正数 ② P的各次方组成的序列 {P, P2, P3, …} 趋于方阵 T，且T的每一个行向量都是固定概率向量。 ③若pi为P的任一概率向量，则向量序列 {piP, piP2, piP3,… }都趋于固定概率向量u。
• 例 设某产品有三种牌号(商标)在市场上销售。调 查得知，本月购买1、2、3种产品的顾客各占0.4、 0.3、0.3；顾客选购这三种产品的变化情况如下表 所示。试预测第3个月该产品的市场占有率和长期 的市场占有率。
46/28
该例说明：在现有的生产和维修条件下，
机器长期运行时，处于正常状态的可能性 约为0.6，处于故障状态的可能性约为0.4。 或者说，约有0.6的时间处于完好状态，约 有0.4的时间处于故障状态。据此，可合理 安排生产计划和维修计划。
46/29
市场占有率预测
• 背景：
– 对于某种产品，往往有若干厂家生产。用户购买哪家 的产品，会受到消费偏好、厂家的广告宣传和推销活 动等多方面的影响。因此，在产品质量基本相同的情 况下，可以认为市场的变化带有随机性。如果本期市 场占有率仅取决于上期市场占有率及转移概率，转移 概率在一定时期内无大的变化，则可用马尔科夫方法 预测市场状况。
从该例可见，如果系统经过较长时间的运行(即转 移步数 k 足够大)后，不管系统的初始状态如何， 从各状态转移到某状态的概率都是相等的。这种 稳定的转移概率，称为稳态概率。
46/22
（二）案例分析

机器运行状态的预测
• 预测目的：在机器很多的大批量生产的企业里，需要掌握 机器发生故障的规律性，以便有效地计划和控制生产，同 时也为合理配备维修人员提供依据。为此，可运用马尔科 夫方法预测机器某个时刻的状态和长期运行状态。 • 分析思路：机器的运行存在正常和故障两种状态。由于出 现故障带有随机性，故可将机器的运行看作一个状态随时 间变化的随机系统。为简单起见，可以认为机器以后的状 态只与目前的状态有关，而与过去的状态无关，即具有无 后效性。这样，机器的运行可看作马氏链。
马尔科夫预测法
• • 马尔科夫方法的基本原理 案例分析
☆10A
46/1
马尔科夫预测法
• 马尔科夫预测法是预测技术中一种重 要的方法 • 不需要大量的统计资料，只需近期资 料就可进行预测， • 既可用于短期预测，也可用于长期预 测
46/2
马尔科夫方法的基本原理
1、基本概念 2、状态转移概率矩阵 3、稳态概率矩阵
p1n pnn
46/10
状态转移概率矩阵的性质
① pij 0 ② i, j=1,2,…,n • 满足①、②这两个性 质的行向量称为概率 向量，由概率向量构 成的方阵称为概率矩 阵 • 转移矩阵必是概率矩 阵
p
j 1
n
ij
1 i 1 ,2, , n
③如果A和B均是概率矩 阵，则AB也是概率矩 阵； ④如果A是概率矩阵。则 An也是概率矩阵。
46/11
(2)K 步状态转移概率矩阵
• 状态转移概率矩阵一般是指一步状态转移概率矩 阵 • 实际工作中往往需要预计今后第 k 个时刻系统的 状态，需要求出系统的 k 步状态转移概率矩阵
• 记 k 步状态转移概率矩阵为P(k)，则
P( k ) P ( k 1) P Pk
即系统的k步状态转移概率矩阵可由k-1步状态转移概率 矩阵乘上一步状态转移概率矩阵求得，也可由一步状态 转移概率矩阵的k次方求得
s(0) (1,0)
由已知条件可得机器的一步状态转移概率矩阵为
1 2
0.4 0.6 P 1.0 0
1
2
1 2
46/24
• 当已知系统的初始状态和一步转移概率时， 就可预测系统在任意时刻所处的各种状态的 可能性大小。
• 预测模型为
s
(k )
s P
(0)
(k )
式中 s(k) 表示系统经 k 步转移后所处的状 态；k为大于0的正整数。
(2)状态随机变量
– 为了表示一个随机运动系统在变化过程中的状 态，可以用一组随时间过程而变化的变量来描 述，这个变量称为状态随机变量
46/5
• 设有一个随机运动系统处于的状态为 i (i＝ 1,2,…,n)，它只能在时刻 t ( t＝1,2,…,m)上 改变它的状态，则状态随机变量
Xt＝i
即表示在时刻t，系统处于状态i • 系统所取状态的集合，称为状态空间
m
46/15
(2)固定概率向量
定义：任一非零概率向量 u=( u1,u2,…,un )，乘以 概率矩阵P后，其结果仍为u，即
uP=u
则称u为P的固定概率向量（或特征向量）
1 0 例如 u 1/ 2,1/ 2 P 0 1 因为 1 0 uP 1/ 2,1/ 2 1/ 2,1/ 2 u 0 1
46/8
• 转移概率中最重要的是一步(次)转移概率，表示 为
p pij P( X m1 j | X m i)
(1) ij
其中：
pij(1) — 表示系统从状态i到状态j的一步转移概率，“(1)” 表示 一步； pij — 表示系统从状态i经过一步转移到状态j的概率； P( Xm+1=j |Xm=i ) — 表示在时刻 m 的系统状态为 i 的条件 下，转移到（发生）在时刻 m+1 的系统状态为 j 的条件概率
• 具备无后效性的离散型随机过程，称为马尔科夫 链，简称马氏链，或称时间和状态均离散的马尔 科夫过程
46/7
基本概念
(4)状态转移
– 即状态变化。当系统的变量从一个特定值变化 到另一个特定值，就表示系统由一个状态转移 到另一个状态，从而实现了状态转移。
(5)转移概率
– 系统状态的变化（转移）是随机的，用概率来 描述系统从某种状态转移到各种状态的可能性 大小，这种概率称为状态转移概率，简称转移 概率
2 1 1 2 1 1 2 4
1 2 3 4
0 所以， 1 2
1 1 2
是正规概率矩阵。
②对于任何正整数m，都有
1 0 1 0 0 1 0 1 1 0 所以， 不是正规概率矩阵。 0 1
46/23
例1 某企业经过调查统计，得知机器在一周时间内， 从正常状态转移到故障状态的概率是0.6，而从故障 状态转移到正常状态的概率为l。如果机器本周末均 处于正常状态，试预测第3周机器的状态和机器长 期运行的状态。 解：设机器的正常状态为状态1，故障状态为状态2， 即得本周(即第0周)末机器的初始状态向量为
46/27
得到
u1 0.4u1 u2 u2 0.6u1
u1 u2 1
再根据 可解得
u1 = 0.625, u2 = 0.375
即固定概率向量 u=( 0.625, 0.375 ) 稳态概率矩阵
U 0.625 0.375 T U 0.625 0.375
将u1、u3代入②式得
u2 0.2, u1 0.4, u3 1 0.2 0.4 0.4
所以 u (0.4,0.2,0.4)
46/21
第二步，求稳态概率矩阵T
根据正规概率矩阵的性质②可知
U 0.4 0.2 0.4 0.4 0.2 0.4 T U U 0.4 0.2 0.4
即
u1 0.5u1 0.5u2 0.25u3
① ② ③
46/20
u2 0.25u1 0.25u3
u3 0.25u1 0.5u2 0.5u3
根据概率向量的定义有
u1 u2 u3 1
得到 将u3代入①式得
u3 1 u1 u2
u2 1 u1 3
46/17
(4)稳态概率矩阵
• 若马氏链的状态转移矩阵为正规概率矩阵，当转 移步数 k 足够大时，k 步转移矩阵将趋向某一方 阵T，即
lim P
k
(k )
T
则称方阵T为稳态概率矩阵。 • 根据定义很难求出稳态概率矩阵T。但由正规概 率矩阵的性质可知，稳态概率矩阵T的每一个行 向量都是固定概率向量u。因此，求出状态转移 矩阵的固定概率向量u，可以进而得到稳态概率 矩阵T 46/18
46/6
(3)马尔科夫链
• 马尔科夫发现：对于实际存在的随机运动系统
– 系统在每一时刻(或每一步)的状态，仅仅取决于前一时 刻(或前一步)的状态，而与过去的其它状态无关。这个 性质称为无后效性 – 例如，松鼠下一步将处于什么状态(将跳到哪棵树上)， 只与它现在所处的状态(现在所处的那颗树)有关，而与 它以前的状态(以前曾在的树)无关
46/12
例 若
p11 P p21
p12 0.7 0.3 p22 0.9 0.1
则
P (2) P (1) P P 2 0.7 0.3 0.9 0.1
2
0.76 0.24 0.72 0.28
46/13
所以P为正规概率矩阵。
46/19
第—步，先求固定概率向量 设P的唯一固定概率向量为 u (u1 , u2 , u3 ) 根据固定概率向量的定义有
0.5 0.25 0.25 u , u , u 0.5 0 0.5 1 2 3 u1 , u2 , u3 0.25 0.25 0.5
• 马尔科夫链的任何 k 步转移概率都可由一步转移 概率求出
46/9
状态转移概率矩阵
(1)一步状态转移概率矩阵
• 若系统有n个状态，则系统全部一步转移概率的集 合所组成的矩阵，称为一步状态转移概率矩阵， 简称状态转移概率矩阵 • 表示为