《信息论与编码》习题解答第二章 信源熵-习题答案2-1解：转移概率矩阵为：P(j/i)=，状态图为：⎪⎩⎪⎨⎧==∑∑j jj ij ii W W P W 1，⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=+=++=1323221313121321233123211W W W W W W W W W W W W 解方程组求得W=2-2求平稳概率符号条件概率状态转移概率解方程组得到 W=2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解： (1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P Xii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-4(4)2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2-6 (1,2) (2,1) 共两种 L o g 362⎛⎝⎫⎪⎭4.17=(1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log 366⎛⎝⎫⎪⎭2.585=2.7 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－” 用三个脉冲 “●”用一个脉冲(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415=(2) H= 14Log 4()34Log 43⎛⎝⎫⎪⎭+0.811=2.10(2) P(黑/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)=H(Y/白)=(4) P(黑)= P(白)=H(Y)=2-11 (1) H(色)=(2) P(色数)=H(色数)=(3) H(数/色)= H(色数)- H(色)=2-12 (1)H(XY)=724Log 247⎛⎝⎫⎪⎭124Log 24()+0+124Log 24()+14Log 4()+124Log 24()+0+124Log 24()+724Log 247⎛ ⎝⎫⎪⎭+ 2.301=(2) P= 得到H(Y)=(3) H(X/Y)=H(XY)-H(Y)=2.13 有两个二元随机变量X 和Y ，它们的联合概率为并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)symbolbit y p y p Y H y x p y x p y p y x p y x p y p symbol bit x p x p X H y x p y x p x p y x p y x p x p jj j ii i / 1)(log )()(218183)()()(218381)()()(/ 1)(log )()(218183)()()(218381)()()(22212121112212221111=-==+=+==+=+==-==+=+==+=+=∑∑Z = XY 的概率分布如下：symbolbit z p Z H z z Z P Z kk / 544.081log 8187log 87)()(818710)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑symbolbit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑symbolbit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑symbolbit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p ijkk j i k j i / 811.181log 8183log 8383log 8381log 81)(log )()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-====+====+=-=-==+===+===∑∑∑(2)symbolbit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbol bit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbol bit X H XZ H X Z H symbol bit Z H XZ H Z X H symbol bit X H XY H X Y H symbol bit Y H XY H Y X H symbolbit y x p y x p XY H i jj i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑(3)symbolbit YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbolbit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=2-14 (1)P(ij)= P(i/j)=(2) 方法1:=方法2:2-15 P(j/i)=2-16(1)(2) 设最后平稳概率为W1,W2得W 1=07 W 2=0.3H(Y/黑)=0.9143-Log 0.9143()0.0857Log 0.0857()-0.422= H(Y/白)=0.2-Log 0.2()0.8Log 0.8()-0.722= H(Y/X)=W 1 H(Y/黑)+ W 2 H(Y/白)=2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解： 1)symbol bit X NH X H symbolbit n X H N/ 101.27103)()(/ 7128log log )(65⨯=⨯⨯=====2)symbol bit X NH X H symbolbit n X H N / 13288288.131000)()(/ 288.1310000log log )(=⨯=====3)158037288.13101.2)()(6=⨯==X H X H N N11黑 白2.18 2.192.20 给定声音样值X 的概率密度为拉普拉斯分布+∞<<-∞=-x e x p x,21)(λλ，求H c (X)，并证明它小于同样方差的正态变量的连续熵。