资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：=-因为输入等概，由信道条件可知，即输出等概，则=10==-=0-= --=25+845==1 bit=-=10 -1=5=2.3219 bit2.11 令{}为一等概消息集，各消息相应被编成下述二元码字=0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通过转移概率为p的BSC传送。
求：(a)接收到的第一个数字0与之间的互信息量。
(b)接收到的前二个数字00与之间的互信息量。
(c)接收到的前三个数字000与之间的互信息量。
(d)接收到的前四个数字0000与之间的互信息量。
解：即，，，=+====1+ bit===== bit===3[1+] bit== bit2.12 计算习题2.9中、、、、。
解：根据题2.9分析=2(+++++++)=3.5993 bit=-=-=1.0143 bit=-=-=0.3249 bit=-=-=1.0143 bit=-=-=0.6894 bit=-=-=0 bit2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立(a)+，给出等号成立的条件(b)=+(c)证明：(b) =-=-=--=+(c) =-=[-][-]=-=当=，即X给定条件下，Y与Z相互独立时等号成立(a) 上式(c)左右两边加上，可得++于是+2.28 令概率空间，令Y是连续随机变量。
已知条件概率密度为，求：(a)Y的概率密度(b)(c) 若对Y做如下硬判决求，并对结果进行解释。
解：(a) 由已知，可得===+=(b) ==2.5 bit== =2 bit=-=0.5 bit(c) 由可得到V的分布律再由可知bit=1 bit== 0.5 bit2.29 令和是同一事件集U上的两个概率分布，相应的熵分别为和。
(a)对于，证明=+是概率分布(b)是相应于分布的熵，试证明+证明：(a) 由于和是同一事件集U上的两个概率分布，于是0，0=1，=1又，则=+0=+=1因此，是概率分布。
(b) ==（引理2）=+第三章信源编码——离散信源无失真编码3.1 试证明长为的元等长码至多有个码字。
证： = 1 \* GB3 ① 在元码树上，第一点节点有个，第二级有 QUOTE D2 ，每个节点对应一个码字，若最长码有，则函数有==，此时，所有码字对应码树中的所有节点。
= 2 \* GB3 ② 码长为1的个；码长为2的个，…，码长为的个∴总共=个3.2 设有一离散无记忆信源。
若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。
(a) 在等长编码下，求二元码的最短码长。
(b) 求错误概率（误组率）。
解: (a)不含的序列 1个长为100的序列中含有1个的序列 QUOTE C1001 =100个长为100的序列中含有2个的序列 =4950个∴所需提供码的总数M=1+100+4950=5051于是采用二元等长编码 =12.3，故取=13(b)当长度为100的序列中含有两个或更多 QUOTE a1 的时出现错误，因此错误概率为=-=3.3 设有一离散无记忆信源，U=，其熵为。
考察其长为的输出序列，当时满足下式(a)在=0.05，=0.1下求(b)在=，=下求(c)令是序列的集合，其中试求L=时情况(a)(b)下，T中元素个数的上下限。
解：===0.81 bitQUOTE a1a21434 ===-==0.471则根据契比雪夫大数定理(a) ===1884(b) ==4.71(c) 由条件可知为典型序列，若设元素个数为，则根据定理其中，，可知(i) ，，下边界：上边界：=故(ii) ，，=故3.4 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。
(a) 各码是否满足异字头条件？是否为唯一可译码？(b) 当收到1时得到多少关于字母a的信息？(c) 当收到1时得到多少关于信源的平均信息？解：①码A是异头字码，而B为逗点码，都是唯一可译码。
②码A bit码B bit③码A U=｛｝==1.32 bit码B =0 bit（收到1后，只知道它是码字开头，不能得到关于U的信息。
）3.5 令离散无记忆信源(a) 求最佳二元码,计算平均码长和编码效率。
(b) 求最佳三元码,计算平均码长和编码效率。
解：(a)=3.234 bit平均码长 =3.26=效率(b)平均码长 =2.11=3.344效率3.6 令离散无记忆信源(a) 求对U的最佳二元码、平均码长和编码效率。
(b) 求对U的最佳二元码、平均码长和编码效率。
(c) 求对U的最佳二元码、平均码长和编码效率。
解：(a)=0.5×1+0.3×2+2×0.2=1.5bit(b) ∵离散无记忆∴H(UU)=2H(U)=2.97 bitp(aa)=0.25, p(aa)=0.15, p(aa)=0.1, p(aa)=0.15, p(aa)=0.09p(aa)=0.06, p(aa)=0.1, p(aa)=0.06, p(aa)=0.04==0.99(c) 有关最佳二元类似略3.7 令离散无记忆信源且0≤P(a)≤P(a)≤…. ≤P(a)<1。
定义Q=, i>1，而Q1=0，今按下述方法进行二元编码。
消息a的码字为实数Q的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n是大于或等于I(a)的最小整数。
(a) 对信源构造码。
(b) 证明上述编码法得到的码满足异字头条件，且平均码长满足H(U)≤≤H(U)+1。
解：(a)(b) 反证法证明异字头条件令k<k’，若是的字头，则又由可知，从而得这与假设是的字头（即）相矛盾，故满足异字头条件。
由已知可得对不等号两边取概率平均可得即3.8 扩展源DMC，(a)求对U的最佳二元码、平均码长和编码效率。
(b)求对U的最佳二元码、平均码长和编码效率。
(c)求对U的最佳二元码、平均码长和编码效率。
(d)求对U的最佳二元码、平均码长和编码效率。
解：(a) ，=1，=1bitDMC信道，，(c)=2.944 =0.981=98.85%(d) 略3.9 设离散无记忆信源试求其二元和三元Huffman编码。
解：3.11 设信源有K个等概的字母,其中K=,12。
今用Huffman编码法进行二元编码。
（a）是否存在有长度不为j或j+1的码字，为什么？（b）利用和j表示长为j+1的码字数目。
（c）码的平均长度是多少？解：Huffman思想：将概率小的用长码，大的用短码，保证↓，当等概时，趋于等长码。
a) 对时，K=2j，则用长度为j码表示；当时，用K=2j+1，用长度为j+1码表示。
平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。
b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元Huffman编码思想（必定占满整个码树），即从而，c） =3.12 设二元信源的字母概率为，。
若信源输出序列为1011 0111 1011 0111(a) 对其进行算术编码并进行计算编码效率。
(b) 对其进行LZ编码并计算编码效率。
解：(a)根据递推公式可得如下表格其中，F(1)=0， F(1)= ， p(0)=， p(1)=从而 C = 0101100111101(b) 首先对信源序列进行分段：1 0 11 01 111 011 0111然后对其进行编码，编码字典如下所示bit3.13 设DMS为U=，各a相应编成码字0、10、110和1110。
试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。
解：设信源序列长为N，则相应码字长为（条件是N要足够长）相应码序列中0出现的次数∴ p(0)= = p(1)=1-p(0)=3.14 设有一DMS, U=采用如下表的串长编码法进行编码(a)求H(U)。
(b)求对于每个中间数字相应的信源数字的平均长度。
(c)求每个中间数字对应的平均长度。
(d)说明码的唯一可译性。
解：(a) bit由已知可得下表(b) bit(c) EQ EQ EQ bit(d) 异字码头第四章信道及信道容量4.1 计算由下述转移概率矩阵给定的DMC的容量。
(a)它是一对称信道，达到C需要输入等概，即=∴Cbit/符号(b)它是一对称信道∴bit/符号（c）它是分信道和的和信道由，可知 bit/符号4.3求图中DMC的容量及最佳输入分布（a） (b)解：（a）由图知发送符号1时等概率收到0,1,2,∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道bit/符号（b）由图知为准对称∴当输入等概，即时达到信道容量C此时∴= bit/符号N个相同的BSC级联如图。