第三章3.1 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y); (2) 求该信道的信道容量及其达到信道容量时的输入概率分布;解: 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)2221122max (;)log log 2(lg lg )log 100.082 /3333mi C I X Y m H bit symbol==-=++⨯=其最佳输入分布为1()2i p x =3-2某信源发送端有2个符号,i x ,i =1,2;()i p x a =,每秒发出一个符号。
接受端有3种符号i y ,j =1,2,3,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦。
(1) 计算接受端的平均不确定度;(2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量。
解:1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i j p x y(1)()log 2log log24141H Y a a=+++- 211161log 2log log24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+ 23111log 2log log24141a aa a-=++-+ 取2为底2223111()(log log )24141a a H Y bit a a-=++-+ (2)11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦ 3(1)log 2log 22a a -=-+3log 22a -=取2为底3(|)2aH Y X bit -=[]2()()()111max (;)max ()(|)max log 2log log 24141i i i p x p x p x aa a c I X Y H Y H Y X a a -⎛⎫∴==-=++ ⎪-+⎝⎭取e 为底2111(ln 2ln ln )24141a a a a a a-∂++-+∂21121111ln 2ln ()24141411a a a a a a a -=+++---+-+ 221112ln 2ln 22(1)4141a a a a a a -=++--+- 111ln 2ln 241a a-=++ = 01114a a -=+35a ∴=9251311131log 2log log 2541454c ∴=⨯++⨯- 312531log 2log log 10416204=++ 3153log 2log log 2102410=+- 15log 24=3.3 在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误,已知P(0)=P(1)=1/2,信源每秒内发出1000个符号,求此信道的信道容量。
解:由题意可知该二元信道的转移概率矩阵为:0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦为一个BSC 信道所以由BSC 信道的信道容量计算公式得到:211log ()log 2log0.92/11000920/seci i it C s H P p bit sign p C C C bit t==-=-====∑3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C 的大小。
解: 信道矩阵P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-e 1e 0e e 10001-,此信道为非奇异矩阵,又r=s,可利用方程组求解31(|)j i jj P b a =31(|)log (|)j i j i j P b a P b a (i=1,2,3)X 0Y 01 1 1221- 1-123230(1)(1)log(1)log (1)log(1)log(1)解得123(1)log(1)log所以 C=log2j j=log[20+2×2(1-)log(1-)+log ]=log[1+21-H()]=log[1+2(1)(1)]2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()CCH CC P b P b P b P b而 31()()(|)j i j i i P b P a P b a (j=1,2,3)得11223323()()()()(1)()()()()(1)P b P a P b Pa P a Pb P a P a 所以P(a 1)=P(b 1)=(1)112(1)2323(1)(1)()()()()12(1)P a P a P b P b当=0时,此信道为一一对应信道,得C=log3, 1231()()()3P a P a P a 当=1/2时,得 C=log2, 11()2P a ,231()()4P a P a3.5 求下列二个信道的信道容量,并加以比较(1)⎪⎪⎭⎫ ⎝⎛----εεεεεε22p p p p (2)⎪⎪⎭⎫ ⎝⎛----εεεεεε2002p p p p其中p+p =1解:(1)此信道是准对称信道,信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组成的矩阵⎪⎪⎭⎫⎝⎛----εεεεp p p p ,⎪⎪⎭⎫⎝⎛εε22而这两个子矩阵满足对称性,因此可直接利用准对称信道的信道容量公式进行计算。
C1=logr-H(p1’ p2’ p3’)-Mk k N k log 21∑=其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以 C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。
(2)此信道也是准对称信道,也可采用上述两种方法之一来进行计算。
先采用准对称信道的信道容量公式进行计算,此信道矩阵中Y 可划分成两个互不相交的子集,由子集列所组成的矩阵为⎪⎪⎭⎫ ⎝⎛----εεεεp p p p ,⎪⎪⎭⎫⎝⎛εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε,所以C=logr-H(p -ε,p-ε,2ε,0)-∑=21log k Mk Nk=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2输入等概率分布(P (a1)=P (a2)=1/2)时达到此信道容量。
比较此两信道容量,可得C2=C1+2εlog23-6 设有扰离散信道的传输情况分别如图3-17所示。
求出该信道的信道容量。
XY1/2图3-17解:112211221122 11 2200 00000⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦对称信道log(|)iC m H Y a=-1log42log22=-⨯取2为底1C=bit/符号3-7(1)条件概率,联合概率,后验概率p y0()13:=,p y1()12:=,p y2()16:=(2)H(Y/X)=(3)当接收为y2,发为x1时正确,如果发的是x1和x3为错误,各自的概率为:P(x1/y2)=15,P(x2/y2)=15,P(x3/y2)=35其中错误概率为:Pe=P(x1/y2)+P(x3/y2)=1535+0.8=(4)平均错误概率为(5)仍为0.733(6)此信道不好原因是信源等概率分布,从转移信道来看正确发送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 (7)H(X/Y)=16Log 2()110Log 5()+115Log 52⎛⎝⎫⎪⎭+215Log 52⎛⎝⎫⎪⎭+110Log 5()+110Log 53⎛⎝⎫⎪⎭+130Log 10()+310Log 53⎛⎝⎫⎪⎭+1.301=3. 8 设加性高斯白噪声信道中,信道带宽3kHz ,又设{(信号功率+噪声功率)/噪声功率}=10dB 。
试计算该信道的最大信息传输速率C t 。
解:3. 9 在图片传输中,每帧约有2.25 106个像素,为了能很好地重现图像,能分16个亮度电平,并假设亮度电平等概分布。
试计算每分钟传送一帧图片所需信道的带宽(信噪功率比为30dB )。
解:sbit t I C bit NH I symbol bit n H t / 101.5601091010941025.2/ 416log log 566622⨯=⨯===⨯=⨯⨯=====z15049)10001(log 105.11log 1log 25H P P C W P P W C N X tN X t =+⨯=⎪⎪⎭⎫ ⎝⎛+=⎪⎪⎭⎫⎝⎛+=3-10 一个平均功率受限制的连续信道,其通频带为1MHZ ,信道上存在白色高斯噪声。