考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。

A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。

问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

（1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)，{非分组码 分组码{奇异码 非奇异码{非唯一可译码 唯一可译码{非即时码即时码（非延长码）码（5分）xil A={a1，a2，…，ai，…，an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(yi1yi2…yil…yiL)，yil B={b1，b2，…，bi，…，bm}这样的码称为分组码，有时也叫块码。

只有分组码才有对应的码表，而非分组码中则不存在码表。

（1分）奇异码和非奇异码若信源符号和码字是一一对应的，则该码为非奇异码。

反之为奇异码。

（1.5分）唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码（1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。

即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。

2.（15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：p(0|00) = 1/2 p(1|00)=1/2p(0|01) = 1/3 p(1|01)=2/3p(0|10) = 1/4 p(1|10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：（1）.信源全部状态及状态转移概率；（2）.画出完整的二阶马尔可夫信源状态转移图；（3）.求平稳分布概率。

解：（1）.符号条件概率矩阵状态转移概率矩阵（5分）（2）.（5分）（3）. 平稳分布概率（5分）121234()()()1/21/2()1/32/3(|)()1/43/4(010*******)1/54/5j i a a s s p a s s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=5/45/100004/34/13/23/100002/12/1)|(43214321s s s s s s p s s s s i j 154325131432141214321442342231131=+++⎪⎪⎪⎪⎭⎪⎪⎪⎪⎬⎫=+=+=+=+⇒=∑W W W W W W W W W W W W W W W W pijjiiW W 74,356,356,3534321====W W W W ∑1316161493. （20分）具有符号集},{10u u U =的二元信源，信源发生概率为：210,1)(,)(10≤<-==p p u p p u p 。

Z 信道如图 所示，接收符号集},{10v v V =，转移概率为：q u v q u v q -==1)|(,1)|(1100。

发出符号与接收符号的失真：1),(),(,0),(),(10011100====v u d v u d v u d v u d 。

（1）. 计算平均失真—D ；（2）. 率失真函数R(D)的最大值是什么？当q 为什么值时可达到该最大值？此时平均失真—D 是多大？（3）. 率失真函数R(D)的最小值是什么？当q 为什么值时可达到该最小值？此时平均失真—D 是多大？ （4）. 画出R(D)-D 曲线。

解：（1）. 已知信源符号概率210,1)(,)(10≤<-==p p u p p u p ； 转移概率矩阵⎥⎦⎤⎢⎣⎡-=q q u v q i j 101)]|([；失真矩阵⎥⎦⎤⎢⎣⎡=0110)],([j i v u d ；联合概率矩阵⎥⎦⎤⎢⎣⎡---=)1)(1()1(0)],([q p q p p v u p j i ； q p q p q p p v u d v u p D j i j i )1(0)1)(1(1)1(100),(),(ij-=⨯--+⨯-+⨯+⨯==∑—。

（5分） （2）. maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；当q=0时，Dmin=0，即得到maxR(D)；—D =0。

（5分）（3）. minR(D)=R(Dmax)=0；当q=1时，转移概率矩阵⎥⎦⎤⎢⎣⎡=0101)]|([i j u v q ，可使得到minR(D)；—D =1-p 。

（5分）（4）. （5分）4. （15分）一个平均功率受限制的连续信道，其通频带为1MHz ，信道上存在白色高斯噪声。

（1）. 已知信道上的信号与噪声的平均功率比值为20，求该信道的信道容量；（2）. 信道上的信号与噪声的平均功率比值降至10，要达到相同的信道容量，信道通频带应为多大？（3）. 若信道的通频带增加至2MHz 时，要保持相同的信道容量，信道通频带应为多大？ 解：（1）. 已知SNR=20s Mbit SNR W W N s PW C /392.421log 1)1log()01log(=⨯=+=+=（5分）（2）. 若SNR=10，C=4.392Mbit/s ；)101log(392.4+=WW=1.27MHz （5分）（3）. 若W=2MHz ，C=4.392Mbit/s ；)1log(2392.4SNR +⨯=SNR=3.582（5分）5. （20分）信源符号X 有6种字母，概率为0.32，0.22，0.18，0.16，0.08，0.04。

（1）. 求符号熵H （X ）；（2）. 用费诺（Fano ）编码法编成二进制变长码，求出平均码长和编码效率；（3）. 用香农（Shannon ）编码法编成二进制变长码，求出平均码长和编码效率；（4）. 用哈夫曼（Huffma ）编码法编成三进制变长码，求出平均码长和编码效率。

解：（1）. ∑=-=ii i bit a p a p X H 符号/35.2)(log )()(（5分）（2）. 费诺编码法编成二进制变长码（5分）00，01，10，110，1110，1111%9.974.235.2)()(====—KX H R X H L η （3）. 香农编码法编成二进制变长码（5分）第 11 页 共 11 页00，010，100，101，1110，11110%7.8284.235.2)()(====—KX H R X H L η （4）. 哈夫曼编码法编成三进制变长码（5分）1，2，00，01，020，021%8.933log 58.135.2log )()(=⨯===m LKX H R X H L —η m=3，n=6，令k=2 m+k(m-1)=7，s=7-n=1所以第一次取m-s=2个符号进行编码。