3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求：(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。

解： 1)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log )()/(log );( 263.16.04/1log )()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log 434.041log 414.061log 616.065log 656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=3.2 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑ 2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。

现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：);(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==⎭⎬⎫⎩⎨⎧===⎥⎦⎤⎢⎣⎡⎭⎬⎫⎩⎨⎧KΩ=KΩ==⎥⎦⎤⎢⎣⎡ 以下是求解过程：()()()symbolbit XY H Y H X H Y X I symbolbit y x p y x p XY H symbolbit y p Y H symbolbit x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p ijj i j i jj ii / 186.0638.1943.0881.0)()()();(/ 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )(log )()(/ 943.036.0log 36.064.0log 64.0)()(/ 881.03.0log 3.07.0log 7.0)()(22.014.036.0)()()()()()(08.056.064.0)()()()()()(14.02.07.0)/()()(56.08.07.0)/()()(22222222212222221211112121111212111111=-+=-+==⨯+⨯+⨯+⨯-=-==⨯+⨯-=-==⨯+⨯-=-==-=-=∴+==-=-=∴+==⨯===⨯==∑∑∑∑3.4 若X, Y, Z 是三个随机变量，试证明(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；证明：)/;();( )/()/(log)()()/(log)( )/()()/()/(log)( )()/(log)();()/;();( )/()/(log)()()/(log)( )/()()/()/(log)( )()/(log)();(Z Y X I Z X I z x p z y x p z y x p x p z x p z y x p z x p x p z x p z y x p z y x p x p z y x p z y x p YZ X I Y Z X I Y X I y x p z y x p z y x p x p y x p z y x p y x p x p y x p z y x p z y x p x p z y x p z y x p YZ X I i j kk i k j i k j i ijki k i k j i ijkk i i k i k j i k j i ijki k j i k j i ijkj i k j i k j i ijki j i k j i ijkj i i j i k j i k j i ijki k j i k j i +=+===+=+===∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；证明：∑∑∑∑∑∑==ijkk j k i k j k j i k j i ijkk i k j i k j i z y p z x p z y p z y x p z y x p z x p z y x p z y x p Z Y X I )()/()()/(log)( )/()/(log)()/;()/()/( )/()/(log )( )/()/(log )( )/(log )()/(log )( )/()/(log)()/;()/;( )/()/(log)( )/()()(log)( )/()()(log)( )/()()/()(log)( YZ X H Z X H YZ X H z x p z x p YZ X H z x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p Z Y X I Z X Y I z y p z x y p z y x p z y p z x p z y x p z y x p z y p z x p z y x p z y x p z y p z p z x p z y x p z y x p ikk i k i i k k i j k j i ijkk j i k j i ijkk i k j i ijkk i k j i k j i ijkk j k i j k j i ijkk j k i k j i k j i ijkk j k i k j i k j i ijkk j k k i k j i k j i -=--=-⎥⎦⎤⎢⎣⎡-=+-=======∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。

证明：)/;(0 log 1)/( log 1)/()( log )()/()/()( log 1)/()/()( )/()/(log)()/;()/()/(log)()/;(2222≥∴=⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛-⎥⎦⎤⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫⎝⎛-≤=-∴=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑Z Y X I ez x p e z x p z y p e z y x p z y x p z x p z y x p ez y x p z x p z y x p z y x p z x p z y x p Z Y X I z x p z y x p z y x p Z Y X I i k i i k i j k k j i j k k j i i j k k j i k i k j i i j k k j i k i k j i ijkk j i k i k j i ijkk i k j i k j i当01)/()/(=-k j i k i z y x p z x p 时等式成立)/()/()/()(/)()/()/()()/()/()()()/()/()()/()/(k j i k i k j k k j i k i k j k j i k i k j k k j k j i k i k j k j i k i z y x p z x p z y p z p z y x p z x p z y p z y x p z x p z y p z p z y p z y x p z x p z y p z y x p z x p =⇒=⇒=⇒=⇒=⇒所以等式成立的条件是X, Y , Z 是马氏链3.5若三个随机变量，有如下关系：Z = X + Y ，其中X 和Y 相互独立，试证明：(1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)；(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。