第三章 马尔科夫过程1、将一颗筛子扔多次。

记X n 为第n 次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。

又记Y n 为前n 次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。

解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。

故X(n)是马尔科夫链。

E={1,2,3,4,5,6} ,其一步转移概率为:P ij = P ij =P{X(n+1)=j ∣X(n)=i }=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为2)由已知可得，每前n 次扔正面出现点数的总和是相互独立的。

即每次n 次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。

其一步转移概率为其中2、一个质点在直线上做随机游动，一步向右的概率为p , (0<p<1)，一步向左的概率为 q , q =1-p 。

在x = 0 和x = a 出放置吸收壁。

记X(n)为第n 步质点的位置，它的可能值是0,1,2,···,a 。

试写出一步转移概率矩阵。

解：由已知可得, 其一步转移概率如下：故一步转移概率为3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0<p<1 ) ,出现“失败”的概率为q , q = 1-p 。

如果第n 次试验出现“失败”认为 X(n) 取得数值为零；如果第n 次试验出现“成功”，且接连着前面k 次试验都出现“成功”，而第 n-k 次试验出现“失败”，认为X(n)取值k ，问{X(n) , n =1,2,···}是马尔科夫链吗？试写出其一步转移概率。

解：由已知得：故为马尔科夫链，其一步转移概率为616161616161616161616161616161616161P ={6,,2,1,6/1,,8,7,,0)1,(+++=<++==+i i i j i j i i i j ij n n P 或)1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i {}α,,2,1,0 =E )(0,1;)0(0,1)1,1(0,,1,,2,1101,1,ααααα≠==≠==+-≠===-=-+j P P j P P i i j P q P P P x j j ij i i i i 而时，当 10000000000000001Pp q p q p q ={}{}m m m m m m i n X l n X i n X i n X i n X l n X P ==+=====+)(0)()(,,)(,)(0)(2211 {}{}mm m m m m in X k l n X i n X i n X i n X k l n X P ==+=====+)()()(,,)(,)()(22114、在一个罐子中放入50个红球和50个蓝球。

每随机地取出一球后，再放入一个新球进去，新球为红球和兰球的概率各为1/2。

第n 次取出一球后，又放入一个新球，留下的红球数记为X(n)。

问{X(n) , n =1,2,···}是马尔科夫链吗？试写出一步转移概率矩阵（当 n ≥50）。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关，故X(n)为马尔科夫链5、随机地扔两枚分币，每枚分币的面有“国徽”和“分值”之分。

X(n) 表示两枚分币分扔 n 次后面正面出现“国徽”的总个数。

试问X(n)是否是马尔科夫链？写出一步转移概率。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。

故X(n)是马尔科夫链。

6、扔一颗筛子，如果前n 次扔出现点数的最大值为j ，就说X(n)的值等于。

试问{X(n) , n =1,2,···}是不是马尔科夫链？并写出一步转移概率矩阵。

解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。

故X(n)是马尔科夫链。

⎪⎩⎪⎨⎧+===+，取其他值01,0,)1,(P j j p j q n n ij)1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i 其中{}21210020012110099010099212001000100992110010020099212001002121)99(0)1(0211001i )2200i -10021100i -100P 200i 21100i P )()(2121100i 10021100i P 9932i 150,100,,2,1,0100,1100,100100,992,11,1,,ij一步转移概率矩阵为时，球）蓝个红球又放回蓝个红（取出时，，，）时，一步转移概率当<=>=======•==•==•-+•==≥=+-i P j P P P P P i i n E i j j i i j i i ⎪⎪⎪⎩⎪⎪⎪⎨⎧+=+==+取其他值其一步转移概率为j i j i i j n n ,01,212,,41)1,(P ij )1(2,,1,0;2,,1,0+==n j n i 其中其一步转移概率矩阵为7、假定随机变量X 0的概率分布为 P{X 0=1}=p , P{X 0= -1}=1-p ，0<p<1，对n = 0,1,2,3,…, 定义 1）画出{X(n) , n = 0,1,2,3,…}的所有样本函数。

2）说明{X(n) , n = 0,1,2,3,…}不具有马尔科夫性（既无后效性。

解：1）2)当n 取值时，X(2n+1)的值先于当n-1时的X(2n)的值∴{X(n) , n = 0,1,2,…}不具有马尔科夫性，即不具有无后效性。

8、将适当的数字填入下面空白处，使矩阵是一步转移概率矩阵。

解：()为偶数当为奇数当n n 00{2X X n X -=()012=+n X )6,,2,1,()(0,)(61,6 =<=>==j i i j P i j P i P j i j i i i 10000061650000616164000616161630061616161620616161616161P =其一步转移概率矩阵为43411101101101313131=P 00434110001011011071013131310=P9、设马尔科夫链的一步转移概率矩阵为试求二步转移概率解：10、设马尔科夫链的一步转移概率为，其中p>0,q<0,p+q=1。

试求二步转移概率矩阵和三步转移概率矩阵，并用数学归纳法证明一般n 步转移概率矩阵为解：1）⎥⎦⎤⎢⎣⎡++==2222222)2(q p pqpq q p P P ⎥⎦⎤⎢⎣⎡++++==2332322333333)3(pq p q q p q q p pq p P P2）证明：a)当n=1时，等式成立b)假设当n=k 时，等式成立 即：则当n=k+1时，即当n=k+1时，等式成立。

综合a),b)得，一般n 步转移概率矩阵位11、设马尔科夫链具有状态空间E={1,2,3}，初始概率分布为612131313131613121=P ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==4136131879218718792125125612131313131613121612131313131613121)2(2P P p q q p P =n n nn q p q p q p q p P )(1)(1)(1)(121-+-----+=p q q p P =)1(⎥⎦⎤⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡-++--+--+-++=⎥⎦⎤⎢⎣⎡-+-----+=⋅=+++++++++11111111)(1)(1)(1)(121)()()()(21)(1)(1)(1)(121)()1(k k k k k k k k nn nn q p q p q p q p q p q p q p q p q p q p q p q p p q q p q p q p q p q p P k P k Pk k kk q p q p q p q p k P )(1)(1)(1)(121)(-+-----+=n n nn q p q p q p q p P )(1)(1)(1)(121-+-----+=412141)0(3)0(2)0(1===P P P和一步转移概率矩阵为(1) 计算P{X(0)=1,X(1)=2,X(2)=2};(2) 试证P{X(1)=2,X(2)=2 | X(0)=1}=p 12p 22 (3) 计算p 12(2)。

解：1）2）3）12、设马尔科夫链具有状态空间E={1,2 }，初始概率分布为和一步转移概率矩阵为（1） 计算P{X(0)=1,X(1)=2,X(2)=2};（2） 计算P{X(n)=1,X(n+1)=2,X(n+2)=2}，n=1,2,3; （3） 计算P{X(n)=1, X(n+2)=2}，n=1,2,3; （4） 计算P{ X(n+2)=2}，n=1,2,3; （5） 在（1），（2），（3），（4）中哪些依赖于n ，哪些不依赖于n 。

解：1)⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=4341031313104341P ()()(){}161314304131430213143141)1()1()0()1()1()0()1()1()0()1()1()0(22,21,10221231)0(3221221)0(231221211)0(13122121)0(=⨯⨯⨯+⨯⨯⨯+⨯⨯⨯=++=====∑∑==p p p p p p p p p p p p p p p p X X X P i i i i ()()(){}()()(){}{}2212221211)0(1221211)0(1)1()1()0()1()1()0(1)0(22,21,1010|22,21p p p p p p p p p p X P X X X P X X X P ===========16741031434341)1()1()1()1()1()1()1()1()2(323122211211312112=⨯+⨯+⨯=++==∑=P P P P P P P P P r r r 100)0(2)0(1=+>>==b a b a b P a P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=21213132P ()()(){}62131021311)1()1()0()1()1()0()1()1()0(22,21,10221221)0(231221211)0(12122121)0(ab a p p p p p p p p p p p p X X X P i i i i =⨯⨯⨯+⨯⨯⨯=+=====∑∑==2)()()(){}()()(){}()()(){}()()()(){}()()(){}()(){}[]()(){}[]⎪⎭⎫⎝⎛+=+======⎪⎭⎫⎝⎛+=⎪⎭⎫ ⎝⎛⨯+⨯=+=======⨯+⨯=+===∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===+=+=⎪⎭⎫ ⎝⎛⨯+⨯⨯=+======⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==+=⎪⎭⎫ ⎝⎛⨯+⨯⨯=+======⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==+=⨯⨯⨯+⨯⨯⨯=+=========+=+=∑∑∑∑∑∑∑∑========36127187)2()2()2()2()2(24,12,26211872132187)1()1()2()2()1(23,11,118721313132)1()1()1()1()1()1()2(187)2(1251271871811)2(31213132)1()1()0(22,1)3)2167243(6172432161302131)3()3()1()1()1()1()3(25,24,1372297243216862161303)36127(6112718112131)2()2()1()1()1()1()2(24,23,1212512718718112)621(61213121213132)1()0()1()1()0()1()1()0(23,22,11,1)1()1()0(22,21,1210211011221121)0(210211011221121)0(22121211221112122121121)0(21)0(211)0(121122121121)0(321)0(211)0(121122121121)0(2211221)0(2211211)0(12121121)0(2121121)0(a p p p p p p p p X X P n a b a p p p p p p p p X X P n P P P P P P P P P P p p p p n X n X P ab a p p p p p p p p p p X X X P P n ab a p p p p p p p p p p X X X P P n ab a p p p p p p p p p p p p X X X P n p p p p n X n X n X P i i i i i i r r r i i i i i i i i i i i i i i i 原式当原式当原式时，当原式时，当原式当13、在12题中，初始概率分布为试对n=1,2,3计算其绝对概率分布 解：14、设马尔科夫链的一步转移概率矩阵为其中p<0,q>0,r>0,且p+q+r=1,初始概率分布为 试对n=1,2,3计算其绝对概率分布()(){}(){}(){}(){}(){}。