2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解： (1)bit x p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-==2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2-9 “－” 用三个脉冲 “●”用一个脉冲(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415=(2) H= 14Log 4()34Log 43⎛⎝⎫⎪⎭+0.811=2-10(2) P(黑/黑)= P(白/黑)=H(Y/黑)=(3) P(黑/白)= P(白/白)=H(Y/白)=(4) P(黑)= P(白)=H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵解：令X 表示指针指向某一数字，则X={1,2, (38)Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x =（1）3112381838()()loglog 2log 1.24()3823818j j j H Y p y p y ===+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r ⎛⎫⎛⎫⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==⨯+⨯+∑ =2.3bit/符号X 概率分布 21()3log 3 1.583H Y =⨯=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号 Y y1 y2 y3 P8/248/248/242.13 有两个二元随机变量X 和Y ，它们的联合概率为Y Xx 1=0 x 2=1 y 1=0 1/8 3/8 y 2=13/81/8并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)symbolbit y p y p Y H y x p y x p y p y x p y x p y p symbol bit x p x p X H y x p y x p x p y x p y x p x p jj j ii i / 1)(log )()(218183)()()(218381)()()(/ 1)(log )()(218183)()()(218381)()()(22212121112212221111=-==+=+==+=+==-==+=+==+=+=∑∑Z = XY 的概率分布如下：Y X y1y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 3 01/247/24X x 1 x 2 x 3 P8/248/248/24symbolbit z p Z H z z Z P Z kk / 544.081log 8187log 87)()(818710)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑symbolbit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑symbolbit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑symbolbit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p ijkk j i k j i / 811.181log 8183log 8383log 8381log 81)(log )()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-====+====+=-=-==+===+===∑∑∑(2)symbolbit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbolbit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbol bit X H XZ H X Z H symbol bit Z H XZ H Z X H symbol bit X H XY H X Y H symbol bit Y H XY H Y X H symbolbit y x p y x p XY H i jj i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑(3)symbolbit YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbol bit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-= 2-14 (1)P(ij)= P(i/j)=(2) 方法1: =方法2:2-15P(j/i)=192.20 给定语音信号样值X的概率密度为1()2xp x eλλ-=,x-∞<<+∞,求H c(X)，并证明它小于同样方差的正态变量的连续熵。