第6章
如果对任一n>1,任意的i1, i2, …, in-1 , j∈S, P{Xn=j|X1=i1, X2=i2, …, Xn-1=in-1}=P{Xn=j|Xn-1=in-1}
(6.1)
则称离散型随机过程{Xt, t∈T}为马尔可夫链。
例如,在荷花池中有N张荷叶,编号为1, 2, …, N。假设有一
第6章
例6.2
0.50 0.25 0.25 P 0.50 0.00 0.50
0.25 0.25 0.50
求其平稳分布及稳态分布。
解 （1） P不可约。
0.4375 0.1875 0.375
P(2)

P2


0.375
0.25
0.375

0.375 0.1875 0.4375 pij>0,仅当i≠2且j≠2时。又p (2) 22>0,由定义可知,P是
第6章
将表6.1中的数据化为转移概率将对研究分析未来 若干周期的顾客流向更为有利。表6.2列出了各公司顾 客流动的转移概率。表6.2中的数据是每家厂商在一个 周期中的顾客数与前一周期的顾客数相除所得。表中 每一行表示某公司从一个周期到下一个周期将能保住 的顾客数的百分比,以及将要丧失给竞争对手的顾客数 的百分比。表中每一列表示各公司在下一周期将能保 住的顾客数的百分比,以及该公司将要从竞争对手那里 获得顾客数的百分比。
第6章
6.1.2
马尔可夫链是一种描述动态随机现象的数学模型, 它建立在系统“状态”和“状态转移”的概念之上。
所谓系统,就是我们所研究的事物对象；所谓状态,是表
示系统的一组记号。当确定了这组记号的值时,也就确
定了系统的行为,并说系统处于某一状态。系统状态常
表示为向量,故称之为状态向量。例如,
A、
B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、
p (k) ij=P{Xn+k=j|XБайду номын сангаас=i}
P(k) =(p (k) ij) N×N
(6.3)
称p (k) ij为k步状态转移概率, P(k)为k步状态转移概率 矩阵,它们均与n无关（从式(6.4)也可看出）。
特别地,当k=1时,p (1) ij=pij为1步状态转移概率。马 尔可夫链中任何k步状态转移概率都可由1步状态转移 概率求出。
只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动
可看作一随机过程。在时刻tn,青蛙所在的那张荷叶,称为青蛙 所处的状态。那么,青蛙在未来处于什么状态,只与它现在所
处的状态i(i=1, 2, …, N)
,与它以前在哪张荷叶上无关。
此过程就是一个马尔可夫链。
由于系统状态的变化是随机的,因此,必须用概率描述状 态转移的各种可能性的大小。
p j (m)

lim
m
i 1
pi
(0)
p(m) ij

i 1
pi (0)
j

j
这mlim也是P称(mπ)为稳mli态m分(布p1的(m理),由p。2(m),...,pN (m))
设存在稳态分布π=(π1, π 2, …, πN),则由于下式恒成 立:
P(k)=P(k-1)P
为概率矩阵。对于一个概率矩阵P,若存在正整数m,使
得Pm的所有元素均为正数,则称矩阵P为正规概率矩阵。
例如,
A

0.7 0.5
0.3 0.5
中每个元素均非负,每行元素之和皆为1,行数和列
数相同,为2×2方阵,故矩阵A为概率矩阵。
第6章
概率矩阵有如下性质： 如果A、B皆是概率矩阵,则 AB也是概率矩阵；如果A是概率矩阵,则A的任意次幂 Am(m≥0)也是概率矩阵。对k≥1,
对k≥1,记pi(k)=P{Xk=i},
N
pi(k)= pj(0)·p (k) ji i=1, 2, …, N; k≥1
j 1
若记向量P(k)=(p1(k), p2(k), …, pN(k)),
P(k)=P(0)P (k) =P(0)Pk
(6.5) (6.6)
P(k)=P(k-1)P
(6.7)
第6章
现以1个月为时间单位。经观察统计,知从某月份到 下月份机床出现故障的概率为0.2,即p12=0.2。其对立事 件,保持正常状态的概率为p11=0.8。在这一时间,故障机 床经维修返回到正常状态的概率为0.9,即p21=0.9；不能 修好的概率为p22=0.1。机床的状态转移情形见图6.1。
第6章
0.3,则可用向量P=(0.3, 0.4, 0.3)来描述该月市场洗衣粉
销售的状况。
第6章
当系统由一种状态变为另一种状态时,我们称之为状态 转移。例如,洗衣粉销售市场状态的转移就是各种牌号洗衣 粉市场占有率的变化。显然,这类系统由一种状态转移到另 一种状态完全是随机的,因此必须用概率描述状态转移的各 种可能性的大小。如果在时刻tn系统的状态为Xn=i的条件下, 在下一个时刻tn+1系统状态为Xn+1=j的概率pij (n)与n无关,则 称 此 马 尔 可 夫 链 是 齐 次 马 尔 可 夫 链 , 并 pij=P{Xn+1=j|Xn=i}i, j=1, 2, …, N称pij为状态转移概率。显然,
0.18 0.19
矩阵的第一行表明,本月处于正常状态的机床,两个月后
仍处于正常状态的概率为0.82，转移到故障状态的概率为
0.18。第二行说明,本月处于故障状态的机床,两个月后转移
到正常状态的概率为0.81,仍处于故障状态的概率为0.19。
第6章
于是,两个月后机床的状态向量
P(2) P(0)P(2) [0.85
第6章
第6章 马尔可夫预测方法
6.1 马尔可夫预测的基本原理 6.2 马尔可夫预测的应用 思考与练习
第6章
6.1 马尔可夫预测的基本原理
6.1.1
为了表征一个系统在变化过程中的特性（状态）,可 以用一组随时间进程而变化的变量来描述。如果系统在 任何时刻上的状态是随机的,则变化过程就是一个随机过 程。
第6章
由全概率公式可知, 对k≥1,有（其中P (0) 表示单位矩阵）
p (k) ij=P{Xn+k=j|Xn=i}
N
=

l 1
P{Xn+k-1=l| Xn =i}·P{Xn+k=j|Xn+k-1=l}
N
= p (k-1) ilplj l 1
i, j=1, 2, …, N
其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵
pij P{X n1 j X n i} i, j 1,2,...N
N
pij 1 i 1,2,...N
j 1
第6章
转移矩阵设系统的状态转移过程是一齐次马尔可夫
链,状态空间S={1, 2, …, N}为有限,状态转移概率为pij,则 称矩阵
p11 p12 p1N
0.8
0.2
1
0.9
0.1 2
图6.1 机床的状态转移
第6章
P


p11 p21
p12 p22


0.82

0.9
0.2 0.1
若已知本月机床的状态向量P(0)=(0.85, 0.15),现要预测
机床两个月后的状态。
P(2)

P2

0.8 0.9
0.22 0.82 0.1 0.81
第6章
表6.2
第6章
如用矩阵来表示表6.2中的数据,就得到了如下的状 态转移矩阵:
设有参数集T (-∞, +∞),如果对任意的t∈T,总有一随机
变量Xt与之对应,则称{Xt, t∈T}为一随机过程。
T
为离散集（不妨设T={t0, t1, t2, …, tn, …}）,同时Xt的取值也
是离散的,则称{Xt, t∈T}为离散型随机过程。
第6章
设有一离散型随机过程,它所有可能处于的状态的集合 为S={1, 2,…, N},称其为状态空间。系统只能在时刻t0, t1, t2, … 改变它的状态。为简便计,以下将Xtn等简记为Xn。
第6章
例6.1 考察一台机床的运行状态。机床的运行存在 正常和故障两种状态。由于出现故障带有随机性,故可将 机床的运行看作一个状态随时间变化的随机系统。可以 认为,机床以后的状态只与其以前的状态有关,而与过去 的状态无关,即具有无后效性。因此,机床的运行可看作 马尔可夫链。
设正常状态为1,故障状态为2,即机床的状态空间由 两个元素组成。机床在运行过程中出现故障,这时从状态 1转移到状态2；处于故障状态的机床经维修,恢复到正常 状态,即从状态2转移到状态1。
不可约的。
第6章
（2） P非周期。
由p (1) 11>0, p (2) 11>0, 而1、2的公约数为1,故状态1 为非周期状态。同理可得状态2、3均为非周期状态。 故P
（3）由于P不可约且是非周期的,求解如下方程组:
XP X


3
i1
xi
1
得X=［0.4 0.2 0.4］, 这就是该马尔可夫链的稳态
品销售额逐期稳定上升,而A公司的产品销售额却在下降。
通过市场调查发现三个公司间的顾客流动情况如表6.1所
示。
第6章
其中产品销售周期是季度。现在的问题是,按照目 前的趋势发展下去, A公司的产品销售额或客户转移的 影响将严重到何种程度？ 更全面地,三个公司的产品销 售额的占有率将如何变化？
第6章 表6.1 A、B、C三公司的顾客流动情况
对于我们所讨论的状态有限（即N个状态）的马尔可夫 链,平稳分布必定存在。特别地,当状态转移矩阵为正规概率矩 阵时,平稳分布惟一。此时,求解方程(6.8),即可得到系统的平 稳分布。