I (X ;Y=1)= P(x/Y 1)I(x;Y 1)x P(x/Y 1)logP(x/Y 1)P(x)= P(X 0/Y 1)log P(X 0/Y 1)P(X 0)P(X 1/Y 1)logP(X 1/Y 1)P(X 1)部分答案，仅供参考。

信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3，2’一秒钟点和划出现的次数平均为 1 152 1 ~40.20.4 -3 3一秒钟点和划分别出现的次数平均为巴54 4那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 54 2 4 4 2解：⑻骰子A和B，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1概率为6/36=1/6，所以信息量-log(1/6)=1+log3 ~ bit(b)骰子A和B,掷出12点只有1种可能：A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9 ~ bit解：出现各点数的概率和信息量：1 点：1/21 , log21 〜bit ;2 点：2/21 , log21-1 〜bit ;3 点：1/7 , log74 点：4/21 , log21-25 点：5/21 , log (21/5 )~;6 点：2/7 , log(7/2)〜平均信息量：(1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7)解：X=1:考生被录取；X=0考生未被录取；Y=1：考生来自本市；Y=0考生来自外地；Z=1:考生学过英语；z=o：考生未学过英语P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0,Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)=(a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)==+=(5/8)log5-1 ~(b) 由于 P(Z=1/ Y=1 )=1, 所以 P ( Y=1, Z=1/X=1) = P ( Y=1/X=1)= P (Y=1, Z=1/X=0) = P (Y=1/X=0)=那^ P( Z=1/X=1 ) = P( Z=1,Y=1/X=1 ) + P( Z=1,Y=0/X=1 ) =+ P( Z=1/Y=0 , X=1) P( Y=0/X=1) =+*=P(Z=1/X=0)= P (Z=1,Y=1/X=0 ) + P (Z=1,Y=0/X=0 ) =+P(Z=1/Y=0 , X=0)P(Y=0/X=0)=+*= P (Z=1,X=1 ) = P (Z=1/X=1 ) *P(X=1)=*= P (Z=1,X=0 ) = P (Z=1/X=0 ) *P(X=0)= *= P(Z=1) = P( Z=1,X=1)+ P( Z=1,X=0)= P(X=0/Z=1)==69/104 P(X=1/Z=1)=35/104l (X ;Z =1)=P(x/Z 1)I(x;Z 1)xx =P(X 0/Z 1)= P(X 0/Z 1)logP(X P(X 0)'=(69/104)log(23/26)+( 35/104)log(35/26)(c) H (X ) =*log(1/+*log(1/=2-(3/4)log3=H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=* H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=P(X=0,Y=0,Z=0)= P(Z=0/ X=0, Y=0* P( X=0, Y=C )=* P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0* P( X=C, Y=C )=*= P(X=1,Y=C,Z=1)= P(Z=1/ X=1,Y=C)*P(X=1,Y=C)=*P(X=1,Y=C,Z=C)=P(Z=C/X=1,Y=C)* P(X=1,Y=C)=*=P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=C,Z=1)= P(X=1,Y=1,Z=C)=C P(X=C,Y=1,Z=C)=CP(X=C,Y=1,Z=1)= P(X=C,Z=1)- P(X=C,Y=C,Z=1)= H(XYZ)=* =+++++=bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =解：A , B, C 分别表示三个筛子掷的点数。

X=A, Y=A+B, Z=A+B+C由于 P(A+B+C/ A+B)=P(C/A+B)=P(C) 所以 H(Z/Y)=H(A+B+C/ A+B)=H (C ) =log6 =P(x/Z 1)P(x/Z 1)logP(x)P(X 1/Z 1)1/Z 1)log —361/36P(A=a,Y=y)=1/36H(X/Y)=H(A/Y)=(1/36)[(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2- 6*log(1/6)]=由于P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C)H(Z/XY)=H(C) =log6 =由于P(A=x,A+B+C=z/A+B=y)=P(A= x,C=z-y / A+B= y)=P(A= x/A+B=y)P(C= z-y/A+B=y)=P(A= x / A+B= y)P(C=z-y )=P(A/Y)P(C)P(A/Y)上面已经给出。

2161/216P(XYZ)=1/216H(XZ/Y)=(1/216)[(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30))*2-36*log(1/36)]=(1/36)*[(log6+2log12+3log18+4log24+5log30)*2+6log36]= bit由于P(Z/X)=P(B+C/A)=P(B+C)H(Z/X) p(xz)log p(z/x)xyzp(a) p(a b c/ a)log p(a b c/a)abcp(a) p(b c)log p(b c) H (B C)a bc= (1/36)*{[log36+2log(36/2)+3log(36/3)+ 4log(36/4)+ 5log(36/5)]*2+6log(36/6)}bit解：P(0/0)=P(1/1)=1- p, P(1/0)=P(0/1)= p(a)F(u l)=1/8P(u l , O)=R u l) x P(0/ u l)=(1/8) x (1- p)接收的第一个数字为0的概率：P(0)= R u l) x R0/ u l)+ P(u2) x P(0/ u2)+ …….P(u8) x P(0/ u8)=4X (1/8) x (1- p)+ 4 x (1/8) x p=1/2I( u l; 0)=log[ P(u l , 0)/P(0)P( u l)]=1+log(1- p)(b)Ru l , 00)= P( u l) x P(00/ u l)=(1/8) x (1- p)2P(00)= P( u l) x F(00/ u l)+ P(u2) x P(00/ u2)+ …….P(u8) x P(00/ u8)2 2=2 x (1/8) x (1- p) +4x (1/8) x p (1- p)+ 2 x (1/8) x p=1/4I( u l; 00)=log[ P(u l , 00)/P(00)P( u l)]= 2+2log(1- p)(c) Ru l , 000)= P( u l) x P(000/ u l)=(1/8) x (1- p)P(000)= P(u l) x P(000/ u l)+ P(u2) x P(000/ u2)+ …….P(u8) x R000/ u8)3 2 2 3=(1/8) x (1- p) +3x (1/8) x p (1- p) +3x (1/8) x p (1- p) +(1/8) x p=1/8I( u l; 000)=log[ P(u l , 000)/P(000)P( u l)]= 3+3log(1- p)(d) Ru l , 0000)= Ru l) x R0000/ u l)=(1/8) x (1- p)4P(0000)= Rul) x R0000/ u l)+ P(u2) x R0000/ u2)+ …….P(u8) x P(0000/ u8)4 2 2 4=(1/8) x (1- p) +6x (1/8) x p (1- p) + (1/8) x pI( u l; 0000)=log[ P(u l , 0000)/P(0000)P( u l)]=(1 P)3log{2 2p}p)6p(1 p)解:l(X;Z)= H(Z)-H(Z/X)I(XY ;Z)=H(Z)-H(Z/XY)I(Y;Z/X)=I(XY;Z)-I(X;Z)I(X;Z/Y)= I(XZ;Y)-I(Y;Z)= H(XZ)-H(XZ/Y) -I(Y;Z) = H(X)+H(Z/X) -H(XZ/Y) -I(Y;Z)以上可以根据的结果求出解：考虑到约束条件o q(x) 1, o xq(x)采用拉格朗日乘子法证明:⑻ Q(x) Q i(x) (1 )Q2(X) (1所以Q(x)为概率分布。

(b)即证明熵的凸性。

H(U)1 (1 )H(U)11 H(U)Q1(x)logQOQ(x) Q1(x)log (1Qdx)^e Q1(x)[叢(1 )Q2(x)log 厂(、Q2 (x))Q2(x)logQ(x)Q2(X)1]loge(1 )Q2(X)[Q X)1]Q2(X)(Q1(x) (1 )Q2(x))logQ(x)当且仅当将q(x) 1mq(x)a 1x2)0 q(x)log q(x)dx』°1X 2——dx (q(x)log eq(x)xq(x)dx1m 2) loge0 q(x)dx 1]1X 2q呎(x) 1]dx 1x2带入实现最大微分熵的分布2时，等式成立。