1.黑白气象传真图的消息只有黑色和白色两种，即信源X ＝{黑，白}，设P(黑)＝0.3，P(白)＝0.7。

(1)假设图上黑白消息出现前后没有关联，求熵H(X)。

(2)假设消息前后有关联，其依赖关系为p(白|白)＝0.9，p(黑|白)＝0.1，p(白|黑）＝0.2，p(黑|黑)＝0.8，求此一阶马尔可夫信源的熵H2。

(3)分别求上述两种信源的剩余度，并比较H(X)和H2的大小（2）（3）。

())/(88.07.0log 7.03.0log 3.0)(log )()(7.0)(,3.0)(},,{)1(22212212121symbol bit e p e p X H e p e p e e X e e i i i =+-=-====∑=则”代表“白”，”代表“黑”，“设“解：32)(,31)()(9.0)(2.0)/()()/()()()(1.0)(8.0)/()()/()()(2,1)/()()()(0)(1)/(2,1,)/(9.0)/(1.0)/(2.0)/(8.0)/(2121222121221212111121212122211211==+=+=+=+===>==⎭⎬⎫⎩⎨⎧====∑∑==e p e p e p e p e e p e p e e p e p e p e p e p e e p e p e e p e p e p j e e p e p e p e p e p e e p j i e e p e e e e p e e p e e p e e p j i j i j j i j i j i j 解方程得：则有：的状态极限概率求数学模型)/(553.0)]/(log )/()()/(log )/()()/(log )/()()/(log )/()([)/(log )/()()(222222212212122121112111221212symbol bit e e p e e p e p e e p e e p e p e e p e e p e p e e p e e p e p e e p e e p e p X H i j i j i j i =+++-=-=∑∑==度越大。

平均信息量越小，冗余相关性越强，所提供的物理意义：信源符号的45.0155.01)()(112.0188.01)()(1112log log )(02022001100220=-=-=-==-=-=-=-=-====∞H X H X H H X H X H H H H n X H ηξηξηξ2.（4,3）偶校验码是一个（4,3）线性分组码，其生成矩阵为 ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=110010101001G ，求消息码010，110所对应的线性码。

解：将消息码直接代入有：3.设信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛08.016.018.022.004.032.0654321)(x x x x x x X P X ,编二进制费诺码，并计算其编码效率。

4.有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有 14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol]m m m m m [m 110010101001]m m [m C C C C C 3213213214321++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==11001100101010010]1[1C C C C C 01011100101010010]1[0C C C C C 43214321=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==0.980.020.020.98P ⎡⎤=⎢⎥⎣⎦symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbolbit x p X H jj i ji j i j i ii / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

5.设二元对称信道的传递概率为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132，①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。

②求该信道的信道容量及达到信道容量时的输入概率分布。

解：1)2)2221122max (;)log log 2(lg lg )log 100.082 /3333mi C I X Y m H bit symbol ==-=++⨯=其最佳输入分布为1()2i p x =6. (1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需用5x105个像素和10个不同亮度电平，求传递此图像所需的信息率(比特／秒)，并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。

(2)设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。

(1)每个象素亮度信源的概率空间为每个象素亮度含有的信息量每帧图像信源就是离散亮度信源的无记忆N 次扩展信源，可得每帧图像含有的信息量为每秒30帧，则传递此图像所需的信息率为(2)色彩度信源的概率空间为 每个色彩度含有的信息量亮度和色彩度是独立同时出现的，每个象素含有的信息量为在每帧所用象素数和每秒传送帧数相同时，信息率之比为7 设有一个信源，它产生0，1序列的消息。

它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，p(1)＝0.6的概率发出符号。

(1)试问这个信源是否是平稳的?(2)试计算H(X2)，H(X3|X1X2)及limHN(X).(3)试计算H(X4)并写出X4信源中可能有的所有符号(1)信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的，因此该信源是平稳的，而且是离散无记忆信源。

(2)1012101()1()1/101/101/10i i i X a a a p a p a =⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑2()log 10 3.32/H X bit pixel =≈562()()510log 10 1.6610/N H X NH X bit frame ==⨯≈⨯7130() 4.9810/N R H X bit s =⨯≈⨯3012301()1()1/301/301/30j j j Y b b b p b p b =⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑2()log 30 4.91/H Y bit pixel =≈()()()8.23/H XY H X H Y bit pixel =+≈2212log 300() 2.5()log 10R H XY R H X ==≈()[])/(97.0)()()()/(lim )(lim )/(97.0)()(2)(3)()()/()/(94.16.0log 6.04.0log 4.02)(2)(1212112121321213222symbol bit X H X X X H X X X H X X X X H X H symbol bit X H X H X H X X H X X X H X X X H symbol bit X H X H N N N N N N N ==-====-=-==+-==--∞→∞→(3)1.设有一单符号离散信源，⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321)(xxxxxxXPX对该信源编写二进制费诺玛。

求已知信源的二进制费诺编码，并求编码效率。

1111111011011100101110101001100001110110010101000011001000010000)/(88.3)(4)(4符号：symbolbitXHXH==。