1．设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y 1, y 2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求：(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。

解： 1)bit x p x I bitx p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log )()/(log );( 263.16.04/1log )()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbol bit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log 434.041log 414.061log 616.065log 656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=2．设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。

设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H 2(X);解： (1)symbol bit x p x p X H ii i / 881.0)7.0log 7.03.0log 3.0()(log )()(=+-=-=∑(2)symbolbit e e p e e p e p H e p e p e p e p e p e p e p e p e p e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p iji j i j i / 553.0 9.0log 9.0321.0log 1.0322.0log 2.0318.0log 8.031 )/(log )/()(3/2)(3/1)(1)()()(2)()(2.0)(9.0)()(1.0)(8.0)()/()()/()()()/()()/()()(21211212221112122222121111=⎪⎭⎫⎝⎛⨯+⨯+⨯+⨯-=-=⎩⎨⎧==⎩⎨⎧=+=⎩⎨⎧+=+=⎩⎨⎧+=+=∑∑∞4．某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)symbol bit x p x p X H ii i / 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)symbol bit X H X H / 1.81811.0100)(100)(100=⨯==5．已知一个高斯信道，输入信噪比（比率）为3。

频带为3kHz ，求最大可能传输的消息率。

若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？解：()()HzP P C W sbit P P W C N X t N X t 1500151log 60001log / 600031log 30001log 22=+=⎪⎪⎭⎫ ⎝⎛+==+⨯=⎪⎪⎭⎫ ⎝⎛+=6．试求以下各信道矩阵代表的信道的容量：p(黑/黑)=0.8e1e2(1) [P] = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0010100000010100 (2) [P] = ⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡10100010010001001(3) [P] = ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡3.0001.0002.0004.00007.0003.00004.0003.0002.0001.0 解：1)这个信道是一一对应的无干扰信道 ymbol bit n C s / 24log log 22=== 2)这个信道是归并的无干扰信道ymbol bit m C s / 585.13log log 22=== 3)这个信道是扩展的无干扰信道ymbol bit n C s / 585.13log log 22===7．设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。

解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=(2)(3)%1.8314.3609.2)()(14.3=====K X H R X H iη8．对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。

%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==KX H R X H x p k K ii i η9．对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。

解：%9.9572.2609.2)()(72.2=====KX H R X H iη10．设线性分组码的生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=110100011010101001G ，求： （1）此（n ，k ）码的n=？ k=？，写出此（n ，k ）码的所有码字。

（2）求其对应的一致校验矩阵H 。

（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。

（4）若接收码字为000110，用伴随式法求译码结果。

解：1）n=6，k=3，由C=mG 可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G 知，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=110011101P ，则 ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==100101010110001011][I P H T 3）由H 可知，其任意2列线性无关，而有3列线性相关，故有3min =d ，能纠一位错。