第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

试计算)(X H 和)(Y H 。

设1S 发出序列0101，2S 发出0111，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。

）解：X 和Y 的信息熵分别为bit 81.034log 434log 411log)(bit 12log 212log 211log)(110=+===+==∑∑==i Y Y i X X i i i i P P Y H P P X H因传输无误，信宿收到的信息等于发送信息。

因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即bits241log log bit 121loglog 0021=-=-==-=-=Y X P I P I整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是bits24.334log 34log bits42log 421=⨯+==⨯=总总I I 平均每次（每个符号）发送（携带）的信息为)(bit 81.0424.34)(bit 144421X H I I X H I I Y X ========总总 5、从普通的52张扑克牌中随机地抽出一张(a) 当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？ (b) 如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？ 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是bits 2)4/1log(=-=红桃I bits 115.2)13/3log(=-=人头I log(3/52) 4.116 bits I =-=红桃人头(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要bits 58.2)6/1log(=-=I 信息。

6、 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)11111()666618i p x =⨯+⨯=，1()log ()log 4.170 18i i I x p x bit =-=-= (2)1111()()log ()log 5.170 663636i i i p x I x p x bit =⨯==-=-=，(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)111111()11()log ()log 1.710 663636i i i p x I x p x bit =⨯⨯==-=-=， 7、 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求信源熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解：(1)symbol bit x p x p X H iii/ 811.043log 4341log 41)(log )()(=⎪⎭⎫⎝⎛+-=-=∑ (2) 100100100133()444mmm i p x --⎛⎫⎛⎫=⨯= ⎪ ⎪⎝⎭⎝⎭1001003()log ()log 41.5 1.585 4mi i I x p x m bit -=-=-=+(3) symbol bit X H XH / 1.81811.0100)(100)(100=⨯==8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A 为女大学生，B 为 1.6米以上的女孩，则依题意有:1()4P A =，1()2P B =，3(|)4P B A =，133()()(|)4416P AB P A P B A ==⨯=，()3(|)()8P AB P A B P B == 所以信息量为228log 3log 33=-=1.415比特 9、设离散无记忆信源⎥⎦⎤⎢⎣⎡)x (P X =⎥⎦⎤⎢⎣⎡8/13a 4/12a 4/11a 8/30a 4321＝＝＝＝，其发出的消息为 （202120130213001203210110321010021032 011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？ 解：(1) 因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。

因此，此消息的自信息就为该消息中各符号自信息之和。

I （01=a ）= −log P （1a ） = −log83= 1.415 比特 I （12=a ）= − log P （2a ）= −log 41=2比特I （23=a ）= −log P （3a ）= −log 41=2比特I （34=a ）= −log P （4a ）= −log 81=3比特则此消息的自信息是：I=18I （01=a ）+ 13I （12=a ）+12 I （23=a ）+ 6I （34=a ）≈18⨯1.415+13⨯2+12⨯2+6⨯3≈93.47比特(2)此消息中平均每个符号携带的信息量是： I 2=93.47÷49≈1.91比特/符号10、从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5 ％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可 能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息 量？如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解：（1） 若男同志回答“是”：I ＝log(1/7%)＝3.84 bit 回答“否”：I ＝log(1/93%)＝0.1 bit平均信息量为：I ＝－7%log7%－93%log93%＝0.36 bit（2） 若问女同志，平均信息量为：I ＝－0.5%log0.5%－99.5%log99.5%＝0.045 bit11、设信源123456,,,,,()0.2,0.19,0.18,0.17,0.16,0.17X a a a a a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦求这信源的熵，并解释为什么()log 6H x >，不满足信源熵的极值性。

解：信源的熵为：2222111()0.2log 50.19log 0.18log 0.17log 0.190.180.17H x =+++ 22110.16log 0.17log 2.6570.160.17++=bit/符号()log 6H x > 是因为此信息的61()1i i P a =>∑，不满足信息熵极值性的条件。