3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。

解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。

给定信道矩阵为：0.980.020.20.8P ⎡⎤=⎢⎥⎣⎦，求平均互信息(;)I X Y 。

解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。

3-4 设二元对称信道的传递矩阵为：21331233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， （1） 若P(0)=34，P(1)=14，求()H X ，(/)H X Y ，(/)H Y X 和(;)I X Y ； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。

解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X ；Y)=0.06（bit/符号）；（2）C ＝0.082（bit/符号），最佳输入分布为：11{}22X P = 3-5 求下列两个信道的信道容量，并加以比较：（1） 22p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦ （2） 2002p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦其中1p p +=。

解：（1）1log 2(,,2)(12)log(12)2log 41()log()()log()2log 2(12)log(12)2log 412()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=-+--+-----（2）2log 2(,,2)(12)log(12)2log 21()log()()log()2log 2(12)log(12)2log 21()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=+--+-----两者的信道容量比较：212C C ε=+3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。

并求当0ε=和12时的信道容量C 。

0012121ε-X Y题图 3-6解：由图知信道转移矩阵为：1000101P εεεε⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦，此信道非对称信道，也非准对称信道，不能利用其公式计算。

此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。

但此信道矩阵是非奇异矩阵，又r ＝s ，则可利用方程组求解：3311(/)(/)log (/),1,2,3ji j j i j i j j P ba Pb a P b a i β====∑∑，所以123230(1)(1)log(1)log (1)(1)log(1)log βεβεβεεεεεβεβεεεε=⎧⎪-+=--+⎨⎪+-=--+⎩ 解得：10β=，23(1)log(1)log ββεεεε==--+，所以1()log 2log[12]j H jC βε-==+∑，11()22C C p b β--==，2()2()22C H C p b βε---==，3()3()22C H C p b βε---==，根据31()()(/),1,2,3j iji i P b P a P ba j ===∑，得最佳输入分布为：11()()2C p a p b -==，()2323()()()()2H C p a p a p b p b ε--====，当ε＝0时，此信道为一一对应信道，1231log3,()()()3C p a p a p a ====；当ε＝0.5时，12311log 2,(),()()24C p a p a p a ====。

3-7 有一个二元对称信道，其信道矩阵为0.980.020.020.98⎡⎤⎢⎥⎣⎦。

设该信道以1500个二元符号每秒的速率传输输入符号。

现有一消息序列共有14000个二元符号，并设在这个消息中，(0)(1)1/2P P ==。

问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C ＝0.859（bit/符号），15000.8591288(/)t C bit s =⨯=，10秒内最大信息传输能力＝12880 bits ，消息序列含有信息量＝14000 bits ，12880<14000，所以10秒内不能将这消息序列无失真地传送完。

3-8 有一离散信道，其信道转移概率如题图3-8所示，试求： （1） 信道容量C ；（2） 若2ε＝0，求信道容量。

11ε1εε--12题图 3-8解：（1）112212121(1)loglog (1)log(1)2C εεεεεεεε-=--++---- （2）若20ε=，则11C ε=- 3-9 设离散信道矩阵为：1111336611116363P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦， 求信道容量C 。

解：C ＝0.041（bit/符号）。

3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。

试求：111/21/21/43/4题图 3-10（1） 信道容量1C ；（2） 若将两个同样信道串接，求串接后的转移概率； （3） 求串接后信道的信道容量2C 。

答案：（1）此信道转移概率矩阵11221344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，信道容量1C ＝0.0487 bit/符号； （2）串接后的转移概率矩阵35885111616P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦；（3）串接后信道的信道容量2C ＝0.0033 bit/符号。

3-11 设有一离散级联信道如题图3-11所示。

试求：x 1x 0y 1y 0z 1z 2z 3434题图 3-11（1）X 与Y 间的信道容量1C ； （2） Y 与Z 间的信道容量2C ；（3）X 与Z 间的信道容量3C 及其输入分布()P x 。

答案：（1）11()C H ε=-（2）2C ＝0.75 （bit/符号） （3）X 、Z 间信道转移概率矩阵为313310(1)1444441313310(1)44444εεεεεεεε⎡⎤⎡⎤-⎢⎥⎢⎥-⎡⎤=⎢⎥⎢⎥⎢⎥-⎣⎦⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦⎣⎦它是准对称信道，当输入等概率分布时达到信道容量。

()p x ＝{0.5,0.5}333331.06(1)log (1)log 4444C εεεε=+--+3-12 若有两个串接的离散信道，它们的信道矩阵都是：00100011100220010P ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 并设第一个信道的输入符号1234{,,,}X a a a a ∈是等概率分布，求(;)I X Z 和(;)I X Y 并加以比较。

解：串接后信道矩阵为'000100010010000100010010111100010000222211000010001022P PP ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦1111()[,,,]8842p Y =，(;)()(/) 1.5I X Y H Y H Y X =-= 比特/符号1111()[,,,]8824p Z =，(;)()(/) 1.5I X Z H Z H Z X =-= 比特/符号可见，(;)(;)I X Z I X Y =3-13 若X ，Y ，Z 是三个随机变量，试证明：（1）();(;)(;/)(;)(;/)I X YZ I X Y I X Z Y I X Z I X Y Z =+=+； （2）();/(;/)(/)(/)I X Y Z I Y X Z H X Z H X YZ ==-；（3）();/0I X Y Z ≥,当且仅当（X Y Z ，，）是马氏链时等式成立。

3-14 若三个离散随机变量有如下关系：X Y Z =+，其中X 和Y 相互独立，试证明： （1） (;)()()I X Z H Z H Y =-；（2） (;)()I XY Z H Z =； （3） ();()I X YZ H X =； （4） ();/()I Y Z X H Y =；（5）();/(/)(/)I X Y Z H X Z H Y Z ==。