各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。

如果我们使每次实验所获得的信息量最大。

那么所需要的总实验次数就最少。

用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。

从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。

因为3log3=log27>log24。

所以在理论上用3次称重能够鉴别硬币并判断其轻或重。

每次实验应使结果具有最大的熵。

其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。

ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。

ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。

（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。

对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。

2．10． 证明： （略）2．11. 证明： （略） 2．12. 证明： （略） 2. 13. （１）1)()(==Y H X H ，544.0)(=Z H ，406.1)(=XZ H ，406.1)(=YZ H ，812.1)(=XYZ H（２）810.0)/()/(==X Y H Y X H ，862.0)/(=Z X H ，405.0)/()/(==Y Z H X Z H ，862.0)/(=Z Y H ，405.0)/()/(==XZ Y H YZ X H ，0)/(=XY Z H（３）188.0);(=Y X I ，138.0);(=Z X I ，138.0);(=Z Y I ，457.0)/;(=Z Y X I，406.0)/;()/;(==Y Z X I X Z Y I（单位均为比特／符号）2．14. （１）41)110()101()011()000(====p p p p XYZ XYZ XYZ XYZ，（２）21)111()000(==p p XYZ XYZ，（３）41)111()110()001()000(====p p p p XYZ XYZ XYZ XYZ2．15． （１）5.1)(=X H ，1)(=Y H ，1)(=Z H ，2)(=YZ H ； （２）5.0);(=Y X I ；1);(=Y X I ； （３）5.0)/;(=Z YX I ，5.1);(=YZ X I（单位均为比特／符号）2．16．（１）43，（２）09.0);(=Y X I 比特／符号，（３）1613，0);(=Y X I ；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。

2．17.（１） 提示：方差为０，表明随机变量是常数，设αlog );(=Y X I；（２）αlog );(=Y X I；1=α表明y x ,独立；（３） 对于（ａ）有：21)(1=a p，21)()(32=+a a p p，2log );(=Y X I ；对于（ｂ）有：31)()()(321===a a a p p p ，23log);(=Y X I 。

2．18. 证明： （略）2．19. 证明： （略）2．20．证明： （略）3. 1 证明： （略）3. 2 （１）０.811比特/符号 ，（２）41.48＋1.58m 比特（m 为０的个数） （３）81.1比特／信源符号3. 3 证明： （略） 3. 4 证明： （略）3. 5 （１）)(1)1(]log )1log()1[(1)1()(p H p p p p p p H p p S nn n --=+-----=（２）p p H S H -=1)()( 3.6 证明： （略）3. 7 （１）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=858383852P，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1691671671693P （２）⎥⎦⎤⎢⎣⎡+--+=----2222111121n n n n nP , []221121nn n p ---+=3. 8)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(H H H n H ++-+3. 9 （1）]11,1[βααβαβ+--+-，]31,31,61,61[，1,,2,1,0,1-==r i r q i（2）)(11)(1ββαααβαβH H +--++-，2log 31，q q i r i i log 10∑-=-3. 10 （1）967.3)(321=X X X H 比特/符号 ，322.1)(3=X H 比特/符号（2）251.1)(=∞X H 比特/符号（3）585.10=H 比特/符号 ，414.11=H 比特/符号 ， 251.12=H 比特/符号211.0=r3. 11 （1）]31,31,31[，（2）)(2log )(p H p X H +=∞，（3）当32=p 时 ，)(X H ∞达到最大值为3log ， 当0=p 时 ，熵为0 ，当1=p 时 ，熵为2log ；（4）3log3. 12 （1）)72,73,72(),,(321=πππ， 73)(1=a p , 72)()(32==a a p p ；（2）5.1)/(1=S U H 比特/符号 ，1)/(2=S U H 比特/符号 ，0)/(3=S U H ；（3）76)(=∞U H 比特/信源符号3. 13 （1）有； （2）=→)(n p ]0,31,31,31,0[]21,0,0,0,21[ 122+==k n k n（3）3log 2502log 251+3. 14 44.1)(=X H 比特/符号3. 15 81log3. 16 （1）周期：3 ；（2）]14429,14419,61,365,361,91,91,91[；（3）0．9477比特/符号 3. 17 证明：（略）3. 18 过渡状态：C ； 遍历状态：A,B4.1（1）811.0)(=X H 比特/符号 ，75.0)/(=Y XH 比特/符号 ，919.0)/(=X Y H 比特/符号 ，061.0);(=Y X I 比特/符号；（2）082.0=C 比特/符号 ，21)1()0(==p p 。

4.2 0.0817比特/符号4.3（1）])1(1log[)1(εεεε--+=C ；εεεεεεε)1()1(0)1(11---+-=p ， εεεεεεε)1()1(1)1(1---+=p（2）⎥⎦⎤⎢⎣⎡--)1(22201εεε； （3）)1log(2)1()1(22][εε---+=H C（4）⎥⎦⎤⎢⎣⎡---))1(1(101εεn n ，)1log(2)1()1(][εε---+=nn H C4.4 （1）0488.0=C 比特/符号 ；（2）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡16111658583 ；（3）0.0032比特/符号 ，496.00=p ，504.01=p4.5 （1）)(2log εH -；（2）2log 43；（3）)43,41,4)1(3()41,83,83(εε--H H 时，输入等概率。

4.6 )1log(2)(1εH C -+= ，)21()(110εH p -+-=，)1(22)(1)(21εεH H p p --+==4.7 ][22log ),(),(2εδδεf f C +=比特/符号 ，其中δεεδδεδε----=1)()1()(),(H H f4.8证明：可求得n 各级联信道转移概率矩阵为：⎥⎥⎦⎤⎢⎢⎣⎡+--+=----)21()21()21()21(111121p p p p P n n nn n，容量)2(1)21(1p nH C ---= ，当∞→n 时，0)21(1=-=H C4.9（１）证明：（略）（２）)(log Z H K C -=，输入等概率．4.10（1）准对称信道：)log()()1log()1(212log )21(εεεεεε--+----+--=p p p p C（2）准对称：)log()()1log()1(211log )21(2log εεεεεε--+----+--+=p p p p C5.1 （1）18≥l；（2）0.001675.2 （1）188410=N ；（2）22162221433899.0<<⨯N G 5.3 否；是；18335613==C C C N 5.4 设长度为j 的码序列个数为N j ，则N N N j j j 122--+= ，解得：2)1(3231j j j N +=-， ,2,1=j ;5.5 (1)469.0)(=S H 比特/符号 ，531.0=r（2）1=-l ，（3）645.022=-L ，533.033=-L ，493.044=-L ，469.0=∞-∞L ；（4）531.0,469.0:1=N ，273.0,727.0:2=N ，120.0,880.0:3=N ，049.0,951.0:4=N ， 0,1:∞=N5.6 85.1=-l，9542.0=η，51.1=R 比特/符号5.7 100=η%5.8 （1）7853.0)(=S H 比特/符号 ； （2）72.2=-l ，959.0=η； （3）81.1=-l，915.0=η；（4）10402.2⨯=N5.9 24种最优码，8种Huffman 码。