信息论基础理论与应用考试题一、填空题（每题2分，共20分）1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。

（考点：信息论的研究目的）2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。

按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。

（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。

（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。

若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。

（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。

（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。

（考点：纠错码的分类）7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。

（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即MB| q（H（X） = E log—— =-£p（%）logP（q））。

P（q）/=i■ ■ ■（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。

（考点：线性分组码的纠检错能力概念）10.和离散信道一•样，对于固定的连续信道和波形信道都有一•个最大的信息传输速率，称之为（信道容量）。

（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分）1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。

（对）（考点：信源剩余度的基本概念）2.信道的噪声是有色噪声，称此信道为有色噪声信道，一•般有色噪声信道都是无记忆信道。

（错）（考点：有色噪声信道的概念）3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。

（对）（考点：非奇异码的基本概念）4.在一个二元信道的n次无记忆扩展信道中，输入端有2。

个符号序列可以作为消息。

（对）5.卷积码的纠错能力随着约束长度的增加而增大，-•般情况下卷积码的纠错能力劣于分组码。

（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分）1 .信源编码信源编码是对信源输出的消息进行适当的变换和处理，口的是为了提高信息传输的效率，所以又称为信源压缩编码。

（考点：信源编码的基本概念）2.马尔可夫信源信源某t时刻所处的状态由当前的输出符号和前一•时刻（t-1）信源的状态唯—决定，则称此信源为马尔可夫信源。

（考点：马尔可夫信源的基本概念）3.炳功率若平均功率为P的非高斯分布的信源具有嫡为h,称炳也为h的高斯信源的平均功率为嫡功率即嫡功率是p = J-e2h o2Tle（考点：炳功率的定义）4.即时码在唯一可译变长码中，有一•类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。

（考点：即时码的定义）四、简答题（每题4分，共16分）1.信息炳的基本性质有哪些？答：信息炳的基本性质包括对称性、确定性、非负性、扩展性、可加性、可强加性、递增性、极值性、上凸性。

（考点：信息炳的基本性质）2.由香农公式可以得出的重要结论有哪些？答：（1）提高信号与噪声功率之比能增加信道的信道容量；（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连续信道的信道容量为无穷大；（3）信道容量一定时，带宽、传输时间和信噪功率比三者之间可以互换;（4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增大；（5）给出了无错误通信的传输速率的理论极限，成为香农极限。

（考点：对香农公式的深入理解所得出的重要结论）3.（n,k）线性分组码的重要性质有哪些？答：（1）（n,k）线性分组码由其生成矩阵G或校验矩阵H确定；（2）封闭性；（3）含有零码字;Xp(x) Q] Clc0.9 0.1(4) 所有许用码字可由其中一•组k 个独立码字线性组合而成；(5) 码的最小距离等于非零码的最小重量。

(考点:(n,k)线性分组码的重要性质)4. 通信网络信道可划分成哪儿种情况？答：(1)多址接入信道；(2)广播信道；(3)中继信道；(4)串扰信道；(5) 双向信道；(6)多用户通信网；(7)具有反馈的信道。

(考点：通信网络信道的划分)五、计算题(每题8分，共32分)1. 有一,布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一•个球，猜测其颜色，求平均摸取一次所能获得的自信息量。

(考点：自信息量的基本概念及计算方法)解：这一随机事件的概率空间为%——表示摸出的是红球I ——表示摸出的是蓝球 Ar若被告知摸出的是红球，那么获得的信息量为1( a x )=-logp( a x )=-log0.9 比特若被告知摸出的是蓝球，那么获得的信息量为I(%)=・logp(%)=・log0.1 比特若每次摸出一个球后又放回去，再进行第二次摸取。

那么摸取n 次后，红球 出现的次数为np(%)次，蓝球出现的次数约为np(%)次。

则摸取n 次后总共所 获得的信息量为n p(%)I(% )+n p( 6/2)I (6Z 2)所以，平均摸取一次所能获得的信息量约为P(0) 2112Py1 1-- 12 12—I—=—4 6 12•J512H (X ) = - [ p(《)log /?(%) + /?(。

2)*°g 〃(。

2)]2= -£p(q)logp(q)I=I=-0.9 log 0.9 一0.1 log 0.1= 0.469比特/符号2.设二进制对称信道的传递矩阵为]_ 3 2 3若p(0)=3/4, p(l)=l/4,求H(X)、H(X Y)、H(Y|X)和H(X;Y)。

（考点：信息嫡和条件嫡的计算）解：联合概率矩阵为2o 3P⑴」1_3边缘概率分布为&=[P(0) MD]H(X)= —p(0) log2 p(0) - p(l) log2 p(l) = 0.81 Ito2 ]_乂信道传递矩阵P Y]X=]；_3 3_故2 2H(K i x)= £ p(可为)log p(yj i 气)i=\ j=l=4loS2t4los4_n log2ri log2t= 0.918诚7 7 5 5H(Y) =----- log2 -------- log2一= 0.98bit12 12 12 12= H(X) + H(YIX)-H(Y)= 0.811 + 0.918-0.98=0.749加7/(X;K) = H(X)-H(Y I X) = 0.811-0.749 = 0.06bit3.有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0) = P(l) = (。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。

0 0.98 0(考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用)解：消息是一个二元序列，这二元符号是等概率分布，即P(O)=P⑴=?，所以消息信源的隔H(X) = 1 (比特/符号)，即每个二元符号含有1比特信息量。

那么这消息序列含有信息量=14000符号XI (比特/符号)=1.4x10,(比特)现计算这二元对称信道能传输的最大的信息传输速率。

这信道是二元对称信道，信道传递矩阵-0.98 0.02-P =0.02 0.98所以其信道容量(即最大信息传输率)C = l-H(p) = l-H(0.98) = 0.8586 比特/符号得最大信息传输速率穴产1500符号/秒*0.8586比特/符号量，所以从信道传输的角度来考虑, 不可能在10秒钟内将这消息无失真的传送G=1110 10 010 10110 10 1101解：由G = [l k Q]送⑴g(x),Q = P，,H = [PI r],d()=厂解题(1) 信息位k=4,监督元位r =3,n =7O(2)由G矩阵得(7, 4)(3) '110100 0--1 0 0 0 1 1 0-0 110 10 00 10 00 1 10 0 110 1 00 0 10 1 1 10 0 0 1 10 10 0 0 1 1 0 1_1 0110 0'的]=[。

7]= 1 10 0 10_0 1 1 0 0 1_=[伊]-1287.9比特/秒5.288x1()3 比特/秒此信道10秒钟内能无失真传输的最大信息量为= 10xR产1.288x10」比特可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息完。

4.若线性分组码生成矩阵为⑴由该G矩阵指出(n,k)码的信息位和监督元位数。

(2)由G知阵确定对应的(n,k)循环码生成多项式。

⑶给出对应的H矩阵(系统码形式)。

⑷该(n,k)码的最小汉明距离％为多少?(考点：对线性分组码的深入理解及应用)(4)最小汉明距离H°=r=3循环码生成多项式g(x)=x3 +工2 +1G=H五、证明题（10分）1.设信道输入随机变量为X,输出随机变量为K和匕。

并且在已知x的条件下, K和K为等概率密度分布。

证明：（1） /（X；K匕）= 2/（X;匕）— /（*;匕）（2）信道I的信道容量小于2倍的信道U的信道容量。

（考点：对信道容量的深入理解及应用）证明：（1）已知/（X；K匕）=/（x；匕）+/（x；匕1匕）=/?（匕匕）"（匕匕IX）3（匕）7（匕）+ *（*）-/2（匕）+ 人（*匕）"（匕I X）-h（Y21 X） + h（Y l I X） + /z（匕I X）-h（Y l Y21 X）=/?（*）—，（Kix）+*（匕）—仞匕ix）—仇（*）+/?（匕）—饵雀）］+/?（匕）+ 仇（K I X） + h（Y2 I X）— /?（匕匕I X）］= /（x；K）+/（x；匕）-/（*；◎+/（*；匕IX）因为在已知x的条件下K和匕统计独立，所以/?（*匕IX） = /?（匕IX） + /?（EJX匕）=/?（Kix）+/z（*ix）得/（匕;匕1X）=0又因为在己知x的条件下，K和*是等概率密度分布，则有/（x；K）= /（x；匕）得/（*；匕IX）=2/（X；K）-/（匕;*）（2）信道I的输入为X,输出为K匕,其信道容量为G =max/（X;匕匕）= max［2/（X；K）— /（K；匕）］P（x）~ P（x）因为本题中匕和匕不统计独立所以/（匕比）＞。