《信息传输理论与编码》复习提纲第2章、信息的统计度量1、自信息量、条件自信息量、平均自信息量（熵）、平均条件自信息量（条件熵）等物理量的含义理解和计算；2、互信息量、条件互信息量、平均互信息量、平均条件互信息量等物理量的含义理解和计算；第3章、离散信源1、离散无记忆信源及其扩展信息的熵的计算；2、离散平稳信源的熵的计算；（极限熵）3、马尔可夫信源的熵的计算；（利用极限熵）第4章、离散信道及其容量1、离散无记忆信道及其扩展信道的相关概念；2、二进制对称（BSC）信道、无损信道、确定信道、无损确定信道、离散对称信道的信道容量计算；第5章、无失真信源编码1、唯一可译码的判别及码树；2、香农、费诺、哈夫曼二进制编码；第6章、有噪信道编码1、最大后验概率译码规则、最大联合概率译码规则；2、极大似然译码规则；3、最小距离译码规则第7章、限失真信源编码1、失真测度2、信息率失真函数的定义域及值域的计算；第9章、纠错编码1、线性分组码的检错、纠错的能力；2、线性分组码的编码、译码。

课后习题教材：《信息理论基础（第4版）》，周荫清主编，北京航空航天大学出版社。

2.1 2.10 2.183.1 3.7 3.10 3.164.1 4.205.1 5.7 5.9 5.106.17.29.1 9.2 9.10部分习题参考答案2.1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。

(1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。

因此事件A发生的概率为p(A)=(1/36)*2=1/18故事件A的自信息量为I(A)=－log2p(A)=log218=4.17 bit(2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。

因此事件B发生的概率为p(B)=1/36故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit(3)设“两个点数中至少有一个为1”为事件C ，则361111361)(=⨯=C p I(C)=-log 2p(C)=1.710bit2.2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H (2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特 2.10解：1个符号的平均自信息量为∑==-=4191.1)(log )()(i i i bit x p x p X H60个符号构成序列的平均自信息量为(可以看成60次扩展) H(X 60)=60H(X)=114.6bit2.18解：(1)sym bolbit y p y p Y H y x p y x p y p y x p y x p y p sym bolbit x p x p X H y x p y x p x p y x p y x p x p j j j ii i / 1)(log )()(218183)()()(218381)()()(/ 1)(log )()(218183)()()(218381)()()(22212121112212221111=-==+=+==+=+==-==+=+==+=+=∑∑Z = XY 的概率分布如下：sym bol bit z p Z H z z Z P Z kk / 544.081log 8187log 87)()(818710)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑symbol bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑sym bol bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑sym bol bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i j k k j i k j i / 811.181log 8183log 8383log 8381log 81 )(log )()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-====+====+=-=-==+===+===∑∑∑ (2) sym bolbit XY H XYZ H XY Z H sym bolbit XZ H XYZ H XZ Y H sym bolbit YZ H XYZ H YZ X H sym bolbit Y H YZ H Y Z H sym bolbit Z H YZ H Z Y H sym bolbit X H XZ H X Z H sym bolbit Z H XZ H Z X H sym bolbit X H XY H X Y H sym bolbit Y H XY H Y X H sym bol bit y x p y x p XY H i jj i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑(3)sym bolbit YZ X H Y X H Y Z X I sym bolbit XZ Y H X Y H X Z Y I sym bolbit YZ X H Z X H Z Y X I sym bol bit Z Y H Y H Z Y I sym bolbit Z X H X H Z X I sym bolbit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-= 3.1解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2解：(1) symbol bit x p x p X H ii i / 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=--- (3)symbol bit X H X H / 1.81811.0100)(100)(100=⨯==3.7解：(1)这个信源是平稳无记忆信源。

因为有这些词语：“它在任意时间．．．．而且不论以前发生过．．．．．．．什么符号．．．．……” (2)symbol bit X H X X X X H H symbolbit x p x p X H X X X H symbolbit X H X H N N N N ii i / 971.0)().../(lim / 971.0)6.0log 6.04.0log 4.0()(log )()()/(/ 942.1)6.0log 6.04.0log 4.0(2)(2)(12132132====+-=-===+⨯-==-∞>-∞∑(3)1111111011011100101110101001100001110110010101000011001000010000的所有符号：/ 884.3)6.0log 6.04.0log 4.0(4)(4)(44X sym bolbit X H X H =+⨯-==3.10解：设x 0—0，x 1—1，y 0—0，y 1—1，则由已知得01()(0)2p x p ==，11()(1)2p x p ==，101(/)(1/0)4p y x p ==，011(/)(0/1)8p y x p == ∴003(/)(0/0)4p y x p ==，117(/)(1/1)8p y x p == (1) 由全概率公式10()()(|)j i j i i p y p x p y x ==∑得 100013117()()(|)242816i i i p y p x p y x ===⨯+⨯=∑，111011179()()(|)242816i i i p y p x p y x ===⨯+⨯=∑ 由贝叶斯公式()(|)(|)()i i j i j j p x p y x p x y p y =得00000013()(|)624(|)7()716p x p y x p x y p y ⨯=== 01001111()(|)224(|)9()916p x p y x p x y p y ⨯=== 10110011()(|)128(|)7()716p x p y x p x y p y ⨯=== 11111117()(|)728(|)9()916p x p y x p x y p y ⨯===1100(/)(;)()(/)log()i j j i j i j i p x y I X Y p y p x y p x ===∑∑3121412714(;)log log log log 87891671690.28960.14530.11220.2770 0.309I X Y =+++=--+=比特(2)由1100(/)(;)(/)(;)(/)log ()i j j i j i j i j i i i p x y I X y p x y I x y p x y p x ====∑∑得10000(/)(;)(/)log()616177 log log 11772261212 log log 0.4067777i i i i p x y I X y p x y p x ===+=+=∑比特3.16解：(1)其中1p p =- ⎪⎩⎪⎨⎧===⎩⎨⎧=++==⎪⎪⎩⎪⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+==+=⋅+⋅=+=3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2)()sym bolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H i j i j i j i / log log log 31log 31log 31log 31log 31log 31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/()(33333232313123232222212113131212111133⋅+⋅-=⎥⎦⎤⎢⎣⎡⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅-=⎥⎦⎤++++++⎢⎣⎡++-=-=∑∑∞(2) 当p=0或p=1时H(X)=0。