第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

2）根据()H ε的变化曲线，定性分析信道的容道容量，并说明当12εε=的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}111121212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯-ε+-⨯ε212122212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯ε+-⨯-ε11221212121212()()log ()()log ()[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]H Y p b p b p b p b p p p p p p p p H p p =--=-⨯-ε+-⨯ε⨯-ε+-⨯ε-⨯ε+-⨯-ε⨯ε+-⨯-ε=⋅-ε+-⋅ε2,1111222212(|)()(|)log (|)[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-⨯-ε-ε+εε---ε-ε+εε=⋅ε+-⋅ε∑（2）()H ε的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。

()()1212()max{(;)}max{()(|)}max{[(1)(1)]()(1)()}p x p x p x C I X Y H Y H Y X H p p p H p H ==-=⨯-ε+-⨯ε-⨯ε+-⨯ε由于函数H （ε）是一个凸函数，有一个性质：1212((1))()(1)()f f f θ⋅α+-θ⋅α≥θ⋅α+-θ⋅α可知：C ≥0假设12εε==ε时此信道是一个二元对称信道，转移概率分布为：11Q ε-εε⎡⎤=⎢⎥ε-⎣⎦ 信道容量：121-log -(1-)log(1-)1-()C H εεεεεεεε==== 3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。

为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB ，试计算在这些条件下传送电视的视频信号所需的带宽。

解：i 1p(x )=10()log10 3.32/I X bit ==像素1秒内可以传送的信息量为：3.3219/bit bit ⨯⨯⨯⨯7像素3010000像素30=2.98971010336log(1),:10log ()3010log(110): 2.999510S SC B dB N NSNB B HZ=+=∴=⨯=+=⨯7已知2.989710可得3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度80/20.510N -=⨯W ／Hz 的加性高斯白噪声的干扰，信息传输速率24R =kbit/s ，信号功率1P =W 。

1）若信道带宽无约束，求信道容量；解：带限的加性高斯白噪声波形信道的信道容量为无带宽约束时：00080lim limlog(1)log 1.442710/S S t w w S S P N W PC C N P N W Pe bit sN ->∞->∞==+==⨯2）若信道的频率范围为0到3KHz ，求信道容量和系统的频带利用率/R W （bps/Hz ）(注：W 为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小0/b E N 是多少dB ？ W=3KHZ在最大信息速率条件下，每传输1比特信息所需的信号能量记为E bSb P E =C0488400log(1)log(1)13000log(1) 4.507410110300024/8/3133.47110 4.507410Sb S P C W W SNR N Wbps R kbit s bps Hz W KHz E P dB N N C --=+=+=⨯+=⨯⨯⨯=====⨯⨯⨯3）若信道带宽变为100KHz ，欲保持与2）相同的信道容量，则此时的信噪比为多少dB ？信号功率要变化多数dB?4500058331004.507410log(1)10log(1)0.3667: 4.3654'0.366710100.366710'0.36671034.35691S S Ss s W KHZP Pbps W N W N WP SNR dB N WPs w P dBP ---=⨯=+=+==-=⨯⨯=⨯⨯==-1010即信号功率的变化为:10log 10log第4章 无失真信源编码习题参考答案4-1：(1) A 、B 、C 、E 编码是唯一可译码。

(2) A 、C 、E 码是及时码。

(3) 唯一可译码的平均码长如下：61111111()3()32416161616A i i i l p s l ===⨯+++++=∑ 码元/信源符号61111111()123456 2.1252416161616B i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()123456 2.1252416161616C i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()12()422416161616E i i i l p s l ===⨯+⨯++++⨯=∑码元/信源符号4-3： (1)/bit ∑8i i i=1H(X)=-p(x )logp(x )1111111111=-log -log -log -log -log 22448816163232111111 -log -log -log646412812812812863=164符 (2) 平均码长：6111111111()3()3248163264128128i i i l p s l ===⨯+++++++=∑码元/信源符号所以编码效率：()0.6615H X lη== (3) 仙农编码：费诺码：4-5：(1)霍夫曼编码：对X的霍夫曼编码如下：0.220.1920.1830.1730.1530.140.014 2.72l =⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符号71()log 2.61i i i H X p p ===∑ 码元/符号() 2.610.95962.72H X lη===平均码长：0.4910.14320.07420.0440.0250.0260.016 2.23l =⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符91()log 2.31i i i H Y p p ===∑码元/符号编码效率：() 2.310.99142.33H Y lη=== (2) 仙农编码：平均码长：0.230.1930.1830.1730.1530.140.017 3.14l =⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符() 2.610.83123.14H X lη===平均编码长度：0.4920.1420.07420.0450.02620.0260.017 2.89l =⨯+⨯+⨯⨯+⨯+⨯⨯+⨯+⨯=码元/信源符编码效率：() 2.310.79932.89H Ylη===(3)费诺编码：对X的费诺编码：平均编码长度：0.220.1930.1830.1720.1530.140.014 2.74 l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符号编码效率：() 2.610.95262.74H Xlη===0.4910.14230.07420.0440.0250.0260.016 2.33 l=⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符号编码效率：() 2.310.99142.33H Ylη===(4)由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。

4-7： 由三元编码方式可知：R=D －B=R D-1(K －2)+2由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码4-21： 由题目可知信源符号为： 1011 0111 1011 0111124124()31(1)(0)()()0.0001237441011 0111 1011 0111p s p p ==== 算术码的码长log ()13l p s =-=由序列S 的分布函数F （S ）由二元整树图来计算：2482103124()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)3313131311()()()()()()()()()4444444440.35114030.0101100110011F S p p p p p =-----=-----==所以算术编码为：0100 0011 0011 平均码长及编码效率如下：130.812516l ==码元/符号 ()(1)log (1)(0)log (0)0.8113H S p p p p =--= bit/符号()0.9985H S lη== (2) 由于信源符号集中共有2个元素，因此只需要⎡⎤12log =位二进制数就可以表示按照分段规则，分段为：1 0 11 01 111 011 0111 短语数为7，可用⎡⎤37log ==n 位来表示段号；平均编码长度： 1.7516l ==码元/符号编码效率为：4636.075.18113.0)(===lS H η失真矩阵：0120d ⎡⎤=⎢⎥⎣⎦，min min 2max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}22222201,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========⎡⎤=⎢⎥⎣⎦==++=⨯+⨯⨯+⨯==⎡⎤==⎢⎥⎣⎦∑符号转移矩阵此时转移矩阵定12义域:[0,]第6章 信道编码概述习题答案6-2极大似然译码规则译码时，由转移概率矩阵可知：第一列中12，第二列中12，第三列中12为转移概率的最大值，所以平均错误概率为： 1111111111()()()2364364362E P =⨯++⨯++⨯+=最小错误概率译码，输入x 与输出y 的联合概率分布为：111,,4612111,,24812111,,12248⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦11111111()()()2412824121224E P =+++++=由于111242< 可以看出最佳译码为最小错误概率译码，平均错误概率为11246-4(1) 求信息传输率；log 412R n == bit/符号(2) 求平均错误译码概率。