马尔可夫过程及其应用一． 马尔可夫过程的简介马尔科夫过程(MarKov Process)是一个典型的随机过程。

设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。

无后效的随机过程称为马尔科夫过程。

马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。

我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。

马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。

二． 马尔可夫过程的一般概念2.1定义设有一随机过程X(t)，t ∈T ，若在t1,t1,…tn-1,tn(t1<t2<…<tn-1<tn ∈T ) 时刻对X(t)观测得到相应的观测值x1,x2,…,xn-1,xn 满足条件:或则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。

其中代表在X(tn-1)=xn-1,…,X(t2)=x2,X(t1)=x1,的条件下,时刻X(tn)取xn 值的条件分布函数。

若把tn-1看做“现在”，因为t1<t2<…<tn-1<tn 则tn 就可以看成“将来”，t1,t2,…,tn-2就当做“过去”。

因此上述定义可表述为在现在状态X(tn-1)取值为xn-1的条件下，将来状态X(tn)与过去状态X(tn-2)X(tn-3),…,X(t1)是无关的。

2.2转移概率分布定义马氏过程的转移概率分布为或()12211221;|,,,,;,,,,X n n n n n n F x t x x x x t t t t ----()()(){}1111;|;|X n n n n n n n n F x t x t P X t x X t x ----=≤=()()(){}00000;|;|,X F x t x t P X t x X t x t t =≤=>转移概率分布是条件概率分布，对X 而言，它是一个分布函数，有以下性质： 1) FX(x;t|x0;t0)>=0 2) FX(∞;t|x0;t0)=1 3) FX(-∞;t|x0;t0)=04) FX(x;t|x0;t0)是关于x 的单调非降、右连续的函数。

5) 满足切普曼-科尔莫哥洛夫方程应用全概率公式,可以证明上式成立。

2.3转移概率密度如果FX(x;t|x0;t0)关于x 的导数存在,则:称之为马尔科夫过程的转移概率密度。

反之，可得并且还有此时，无后效性可表示为马氏过程的转移概率密度也满足切普曼-科尔莫哥洛夫方程三． 马尔可夫过程的统计特性及性质由前面的内容可知，随机过程的统计特性可由有限维联合概率分布来近似的描述。

对于马尔科夫过程来说，其维概率密度可以表示为()()()()()001111001001100101;|;;|;;|;;|;;|;,X X X X X F x t x t F x t x t dF x t x t dF x t x t f x t x t dx t t t ∞-∞==<<⎰()()0000;|;;|;X X f x t x t F x t x t x ∂=∂()()()000000;|;;|;;|;xxX X X f u t x t dF u t x t F x t x t -∞-∞==⎰⎰()()0000;|;;|;1X X f x t x t dx F t x t ∞-∞=∞=⎰()()000;|;t t X f x t x t x x δ→−−−→-()()1221122111;|;,,;;,,;|;X n n n n n n X n n n n f x t x x x x t t t t f x t x t ------=()()();|;;|;;|;,X n n k k X n n r r X r r k k r n r kf x t x t f x t x t f x t x t dx t t t ∞-∞=>>⎰当取t1为初始时刻时，fx(x1,t1)表示初始概率分布(密度)。

上式表明：马氏过程的统计特性完全由它的初始概率分布（密度）和转移概率分布（密度）所确定。

上面已经介绍了马氏过程的定义及一些特征，下面给出马氏过程的几个有用性质。

1) 同马尔科夫序列的情况一样，逆向的马尔科夫过程仍为马尔科夫过程。

对任意的整数n 和k ，有2) 若马尔科夫过程的现在状态已知，则将来状态与过去状态无关。

若tn>tr>ts 则在已知Xr(过程在t 时刻的条件下)，随机变量Xn 和Xs 是独立的，满足3) 若对每个t<=t1<t2，X(t2)-X(t1)与X(t)皆是独立的，则过程X(t)是马氏过程。

4) 由转移概率密度的无后效性可推出四．马尔可夫过程的应用4.1马尔可夫应用概述马尔可夫随机过程的发展史说明了理论与实际之间的密切关系。

许多研究方向的提出，归根到底是有其实际背景的。

反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。

下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。

在物理学方面，高能电子或核子穿过吸收体时，产生级联（或倍增）现象,在研究电了-光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。

当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。

物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。

()()()()()()()()()121212112112112111112222111111111121,,,;,,,;|,,,;,,,,,,;,,,;|;;|;;|;;;;|;,X n n X n n n n X n n X n n n n X n n n n X X n X X i i i i ni f x x x t t t f x t x x x t t t f x x x t t t f x t x t f x t x t f x t x t f x t f x t f x t x t t t t -----------++=====<<<∏()()121211;|,,,;,,,,|;X n n n n n k n n n k X n n n n f x t x x x t t t f x t x t ++++++++=()()(),;,|;;|;;|;X n s n s r r X n n r r X s s r r f x x t t x t f x t x t f x t x t =()()()()()111|,,|n n n n E X t X t X t E X t X t --=⎡⎤⎡⎤⎣⎦⎣⎦湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。

探讨太阳黑子的规律及其预测时，时间序列方法非常有用。

化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。

随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。

研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。

有些生物现象还可以利用时间序列模型来进行预报。

传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。

在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。

许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，存货控制，水库调度，购货排队，等等，都可用一类概率模型来描述。

这类概率模型涉及的过程叫排队过程，它是点过程的特例。

排队过程一般不是马尔可夫型的。

当把顾客到达和服务所需时间的统计规律研究清楚后，就可以合理安排服务点。

在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。

传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后采取办法消除干扰。

这是信息论的主要目的。

噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。

信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。

在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。

4.2马尔可夫应用举例假定西安电子科技大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。

根据本月（12月）调查，有3000人使用黑妹牙膏，7000人使用中华牙膏。

又据调查,使用黑妹牙膏的3000人中，有60％的人下月将继续使用黑妹牙膏，40％的人将改用中华牙膏；使用中华牙膏的7000人中，有70％的人下月将继续使用中华牙膏，30％的人将改用黑妹牙膏。

据此，可以得到如表－1所示的统计表。

表－1 两种牙膏之间的转移概率上表中的4个概率就称为状态的转移概率，而这四个转移概率组成的矩阵称为转移概率矩阵。

可以看出，转移概率矩阵的一个特点是其各行元素之和为１。

在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为1。

2．用转移概率矩阵预测市场占有率的变化有了转移概率矩阵，就可以预测，到下个月（１月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下：即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。

假定转移概率矩阵不变，还可以继续预测到2月份的情况为：这里称为二步转移矩阵，也即由12月份的情况通过2步转移到2月份的情况。

二步转移概率矩阵正好是一步转移概率矩阵的平方。

一般地，k步转移概率矩阵正好是一步转移概率矩阵的k次方。

可以证明，k步转移概率矩阵中,各行元素之和也都为1。

转移概率矩阵案例分析案例一: 用转移概率矩阵预测市场占有率的变化[1]有了转移概率矩阵，就可以预测，到下个月（１月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下：即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。

假定转移概率矩阵不变，还可以继续预测到2月份的情况为：===(4170,5830)这里称为二步转移矩阵，也即由１２月份的情况通过２步转移到2月份的情况。

二步转移概率矩阵正好是一步转移概率矩阵的平方。