第十讲 几种常用的随机过程 10.1 马尔可夫过程 10.1.1马尔可夫序列 马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。 一个随机变量序列xn（n=1,2,…）,若对于任意的n有
)|(),...,,|(1121xxFxxxxFnnXnnnX （10.1）
或 )|(),...,,|(1121xxfxxxxfnnXnnnX （10.2）
则称xn为马尔可夫序列。xn的联合概率密度为
)()|( )|()|(),...,,(11221121xfxxfxxfxxfxxxfXXnnXnnXnX （10.3）
马尔可夫序列有如下性质： （1） 一个马尔可夫序列的子序列仍为马尔可夫序列。 （2） )|(),...,,|(121xxfxxxxfnnXknnnnX （10.4） （3） )|(),...,|(111xXxxXnnnnEE （10.5） （4） 在一个马尔可夫序列中，若已知现在，则未来与过去相互独立。即
)|()|()|,(1xxfxxfxxxfrsXnnXrsnX ，n>r>s （10.6） （5） 若条件概率密度)|(1xxfnnX与n无关，则称马尔可夫序列是齐次的。 （6） 若一个马尔可夫序列是齐次的，且所有的随机变量Xn具有同样的概率密度，则称该马尔可夫序列为平稳的。 （7） 马尔可夫序列的转移概率满足切普曼—柯尔莫哥洛夫方程，即
)|()|()|(xxfxxfxxfsrXrnXsnX ，n>r>s (10.7) 10.1.2马尔可夫链 马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。 1 马尔可夫链的定义 设
),2,1(nX
n为离散时间随机过程，其状态
空间},,,{21aaaNI。如果过程在kmt时刻为任一状态),,2,1(Niaikm的概率，只与过程在mt时刻的状态有关，而与过程在mt时刻以前的状态无关，即
11mk{|,,} P{|} (10.8)XmkmmkmmkmmPiiiiiaaaXXXaaX
则称该过程为马尔可夫链，或简称马氏链。 2 马氏链的转移概率及有限维分布 马氏链的转移概率定义为 (,){|}, i,j1,2,N;m,k .9mkmjiijmmkppaaXX皆为正整数（10）
如果),(kmmpij与m无关，则称该马氏链为齐次的。下面我们仅研讨齐次马氏链，并习惯上省去“齐次”二字。 马氏链的一步转移概率及其矩阵分别定义为
m1(1)(,1)P{|} (10.10)XmijijijmmjipppaaX
pppppppppNNNNNNPP212222111211)1(
（10.11） 一步转移概率矩阵P有以下两个性质 10pij （10.12）
Niijp11
（10.13） 马氏链的高阶转移概率及其矩阵分别定义为 mn()(,)P{|} ( 10.14 )XmijijnmmnjippaaX111212122212()()()()()()() (10.15)()()()NN
NNNN
nnnnnnPnnnnppppppppp
n步转移概率矩阵P(n)具有如下的性质： 0()1 (10.16)ijnp
1()1 (10.17)Nijinp 此外，还规定 jijimmijijijpp,0,1
),()0(
马氏链的n步转移概率及其矩阵具有如下的切普慢—柯尔摩哥洛夫方程的离散形式，即 Nirr1()()() (10.18)pijijrjnlkkppp
()()()() (10.19)pnplkplpk当n为任意正整数时，则有 ()(1) (10.20)npnppnp式（7.18），若n=k+1,则有 (1)()() (10.21)ijirrjirrjrrkkkppppp
由上可知，以一步转移概率pij为元素的一步转移概率矩阵P决定了马氏链状态转移过程的概率法则。但是，P决定不了初始概率分布，必须引入初始概率
0{},0,1,2, (10.22)ii
pipxa
并称{pi}=（,,,210ppp）为初始分布，显然有 10,1 (10.23)iiipp
若绝对概率}{)(aXpjkjpk，则有 (1)(1)() (10.24)jiijiijiikkkppppp 马氏链的有限维分布可表示为 0101010011010101{,,,} p{}{|} {|} (10.25)iXXpn
nnnnnnnpiiiPiiiPiiiiiiaaaXXXaaaXaaXXpp
3．遍历性及平稳分布 （1）遍历性 设)(nX为齐次马氏链，若对于一切状态i与j，存在不依赖于i的极限 lim() (10.36)ijjnpnp 则称马氏链X（n）具有遍历性。
定理 （有限马氏链具有遍历性的充分条件）对有限状态的齐次马氏链X（n），若存在正整数m，使 ()0,,1,2,..., (10.37)ijpmijN 则此链是遍历的。而且，式（10.36）中的},...,{}{21Njpppp是方程组
1,1,2,..., (10.38)NjiijipppjN 在满足条件
11,1 (10.39)Njjiopp
下的惟一解。 （2）平稳分布 马氏链的一个概率分布
，如有和即：10},{0jjjjvvv
0 .40jiiijvvp（10）
则称它为该链的平稳分布。并有 0() (10.41)iiijivvpn
10.1.3马尔可夫过程 这里论及的马尔可夫过程是指时间， 状态皆连续的马尔可夫过程。扩散过程就是 这类马尔可夫过程的一个特例。
设有一随机过程：
满足，，相应的观测值）观测得到（对，，若在nnnnnnxxxxtXttttTttttTttX,...,...,...,),(121121121
1221122111(;/,,...,,;,...,,)(;/;),3 .42XnnnnnnXnnnnFxtxxxxttttFxtxtn的整数（10）
则称此类过程为马尔可夫过程，简称马氏过程。 马氏过程的转移概率分布定义为：
111100000(;|;){()()} (10.43 )(;|;){()|()}, (10.44 )XnnnnnnnXFxtxtPXtXtxFxtxtPXtxXtxtt或 转移概率分布是关于x的分布函数，故有： 00000001|0 .452|1 .463|0 (10.47 4|XXXXFxtxtFtxtFtxtFxtx（）（；；）（10）（）（；；）（10）（）（；；））（）（；；10
00111100 5||| XXXXtxFxtxtFxtxtdFxtxt）是关于单调不减，右连续的函数。
（）满足切普曼—柯尔莫哥洛夫方程
（；；）（；；）（；；） .48（10）马氏过程的转移概率密度定义为
0000(;|;)(;|;) .49 XXfxtxtFxtxtx（10）故有
0000001221122111(;/;)1 .50(;/;)(), .51(;/,,...,,;,...,,)(;/;),3 XXXnnnnnnXnnnnfxtxtdxfxtxtxxttfxtxxxxttttfxtxtn
（10）当时（10）
的整数 .52（10）它也满足切普曼——柯尔莫哥洛夫方程 (;/;)(;/;)(;/;), .53XnnkkXnnrrXrrkkkrnfxtxt
fxnxtfxtxtdxttt（10）
如果马氏过程X（t）有