当前位置:文档之家› 信息论与编码试卷与答案

信息论与编码试卷与答案

一、(11’)填空题(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

(2)必然事件的自信息是 0 。

(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。

(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。

(5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。

(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。

(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。

(8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。

(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分)故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分)I(A|B)=-log0.375=1.42bit (1分)四、(5')证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明:()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; (2分)同理()()()X Y H Y H Y X I -=; (1分) 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += (1分) 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; (1分)五、(18’).黑白气象传真图的消息只有黑色和白色两种,求:1) 黑色出现的概率为0.3,白色出现的概率为0.7。

给出这个只有两个符号的信源X 的数学模型。

假设图上黑白消息出现前后没有关联,求熵()X H ;2)假设黑白消息出现前后有关联,其依赖关系为,,,,求其熵()X H ∞。

3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。

解:1)信源模型为 (1分)2)由题意可知该信源为一阶马尔科夫信源。

(2分) 由(4分)得极限状态概率(2分)(3分)3)119.02log )(121=-=X H γ (1分)447.02log )(122=-=∞X H γ (1分)12γγ>。

说明:当信源的符号之间有依赖时,信源输出消息的不确定性减弱。

而信源冗余度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。

(2分)六、(18’).信源空间为1234567()0.20.190.180.170.150.10.01X x x x x x x x P X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率(要求有编码过程)。

14.3)(71==∑=i i i l a p L 831.014.361.2)(===LX H R七(6’).设有一离散信道,其信道传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡2/16/13/13/12/16/16/13/12/1,并设⎪⎪⎪⎩⎪⎪⎪⎨⎧===41)(21)(41)(321xpxpxp,试分别按最大后验概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。

1)(3分)最小似然译码准则下,有,2)(3分)最大后验概率准则下,有,八(10').二元对称信道如图。

1)若()430=p,()411=p,求()XH、()YXH|和()YXI;;2)求该信道的信道容量。

解:1)共6分2),(3分)此时输入概率分布为等概率分布。

(1分)九、(18')设一线性分组码具有一致监督矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1111111111H1)求此分组码n=?,k=?共有多少码字?2)求此分组码的生成矩阵G。

3)写出此分组码的所有码字。

4)若接收到码字(101001),求出伴随式并给出翻译结果。

解:1)n=6,k=3,共有8个码字。

(3分)2)设码字()12345CCCCCCC=ρ由TTHC0=得⎪⎩⎪⎨⎧=⊕⊕⊕=⊕⊕=⊕⊕1353412CCCCCCCCCC(3分)令监督位为()12CCC,则有⎪⎩⎪⎨⎧⊕=⊕=⊕=34451352CCCCCCCCC(3分)生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡111111111(2分)3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。

(4分)4)由TT HRS=得()符号/749.0|bitYXH=()S,(2分)该码字在第5位发生错误,(101001)纠正为(101011),即译码为(101001)101=(1分)一、填空题(本题10空,每空1分,共10分)1、必然事件的自信息量是____0____,不可能事件的自信息量是___无穷______。

2、一信源有五种符号{a,b,c,d,e},先验概率分别为P a=0.5,P b=0.25,P c=0.125,P d=P e=0.0625。

符号“a”的自信息量为___1_____bit,此信源的熵为__1.875______bit/符号。

3、如某线性分组码的最小汉明距d min=6,最多能纠正___2___个随机错。

4、根据密码算法所使用的加密密钥和解密密钥是否相同,可将密码体制分成___对称(单密钥)_____和___非对称(双密钥)____。

5、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是__I(X:Y)=H(X)-H(X/Y)______。

6、克劳夫特不等式是唯一可译码__存在_______的充要条件。

{00,01,10,11}是否是唯一可译码?___是______。

三、单项选择题(本题共10小题;每小题2分,共20分)1、对连续集的熵的描述不正确的是(A)A 连续集的熵和离散集的熵形式一致,只是用概率密度代替概率,用积分代替求和B 连续集的熵值无限大C 连续集的熵由绝对熵和微分熵构成D 连续集的熵可以是任意整数2、设信道输入为x m,输出为y,若译码准则是当P(y | x m’)≥P(y | x m),对所有m≠m’时,将y判为m’,则称该准则为(D)A 最大后验概率译码准则B 最小错误概率准则C 最大相关译码准则D 最大似然译码准则3、线性分组码不具有的性质是(C)A 任意多个码字的线性组合仍是码字B 最小汉明距离等于最小非0重量C 最小汉明距离为3D 任一码字和其校验矩阵的乘积c m H T=04、关于伴随式的描述正确的是(A)A 伴随式s与传送中信道出现的错误图样e有关B 通过伴随式s可以完全确定传送中信道出现的错误图样eC 伴随式s与发送的具体码字有关D 伴随式s与发送的具体码字有关,与传送中信道出现的错误图样e也有关5、率失真函数的下限为(B)A H(U) B0 C I(U; V) D没有下限6、纠错编码中,下列哪种措施不能减小差错概率(D)A 增大信道容量B 增大码长C 减小码率D 减小带宽7、已知某无记忆三符号信源a,b,c 等概分布,接收端为二符号集,其失真矩阵为,则信源的最大平均失真度Dmax 为( D ) A 1/3 B 2/3 C 3/3 D 4/38、一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有 微小差异的假珠换掉1 颗。

一人随手取出3 颗,经测量恰好找出了假珠,不巧假珠又滑落进去, 那人找了许久却未找到,但另一人说他用天平最多6 次能找出,结果确是如此,这一事件给出的 信息量( A )。

A 0bitB log6bitC 6bitD log240bit9、已知随机噪声电压的概率密度函数 p(x) =1/2,x 的取值范围为-1V 至+1V ,若把噪声幅度从 零开始向正负幅度两边按量化单位为0.1V 做量化,并且每秒取10 个记录,求该信源的时间熵(B ) A 21.61bit/s B 43.22bit/s C 86.44 bit /s D 以上都不对10、彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64 种彩色度,每种彩度又有16 种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之 间相互独立。

每秒传送25 帧图像所需要的信道容量(C ) A 50.106 B 75.106 C 125.106 D 250.106第7章 线性分组码1. 已知一个(5, 3)线性码C 的生成矩阵为:11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1)求系统生成矩阵;(2)列出C 的信息位与系统码字的映射关系;(3)求其最小Hamming 距离,并说明其检错、纠错能力; (4)求校验矩阵H ;(5)列出译码表,求收到r =11101时的译码步骤与译码结果。

解:(1)线性码C 的生成矩阵经如下行变换:23132110011001101101011010011100111100111001101101010100011100111⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦将第、加到第行将第加到第行得到线性码C 的系统生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111000*********S G(2)码字),,,(110-=n c c c c K 的编码函数为[][][]111000*********)(210m m m m f c ++==生成了的8个码字如下(3) 最小汉明距离d =2,所以可检1个错,但不能纠错。

(4) 由],[],,[)()(k n Tk n k k n k k n I A HA I G --⨯-⨯-==,得校验矩阵⎥⎦⎤⎢⎣⎡=1010101111H(5) 消息序列m =000,001,010,011,100,101,110,111,由c =mGs 得码字序列c 0=00000, c 1=00111,c 2=01010, c 3=01101, c 4=10011, c 5=10100,c 6=11001, c 7=11110则译码表如下:当接收到r =(11101)时,查找码表发现它所在的列的子集头为(01101),所以将它译为c =01101。

相关主题