Chap1思考题与习题参考答案1.1 信息论与编码技术研究的主要内容是什么？信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般学科。
编码技术研究的主要内容是如何既可靠又有效地传输信息。
1.2 简述信息理论与编码技术的发展简史。
1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。
在这两篇论文中，他用概率论测度和数理统计的方法系统地讨论了通信的基本问题，得出了及格重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
从1948年开始，信息论的出现引起了一些有名的数学家如柯尔洛夫、A.Feinstein、J.Wolfowitz等人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数学基础。
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并形成一门独立的分支——纠错码理论。
1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。
从此，发展成为信息率失真编码理论。
香农1961年的论文“双路通信信道”开拓了网络信息论的研究。
现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
1.3 简述信息与消息、信号的定义以及三者之间的关系。
信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。
用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来成为消息。
把消息变换成适合信道传输的物理量，这种物理量称为信号。
它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。
1.4 简述一个通信系统包括的各主要功能模块及其作用。
通信系统主要分成下列五个部分：（1）信息源。
信源是产生消息和消息序列的源。
（2）编码器。
编码是把消息变换成信号的措施。
（3）信道。
信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。
（4）译码器。
译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。
（5）信宿。
信宿是消息传送的对象，即接收消息的人或机器。
1.5 你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？略。
1.6 什么是事物的不确定性？不确定性如何与信息的测度发生关系？由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。
所以在通信以前，收信者存在“疑义”和“不知”，即不确定性。
用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。
因此，可运用研究随机事件的数学工具——概率论和随机过程来测度不确定性的大小。
1.7 试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。
略。
1.8 在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？略。
Chap2 思考题与习题 参考答案2.1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“两骰子面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：同时扔一对均匀的骰子，可能呈现的状态数有36种，各面呈现的概率为1/6，所以36种中任何一种状态出现的概率都是相等，为1/36。
（1）设 “两骰子面朝上点数之和为2”为事件A 。
在36种情况中，只有一种情况，即1+1。
则2()1/36()log ()log 36 5.17(P A I A P A ==−=≈比特)（2）设 “两骰子面朝上点数之和为8”为事件B 。
在36种情况中，有六种情况，即5+3，3+5，2+6，6+2，4+4。
则2()5/3636()log ()log 2.85(5P B I B P B ==−=≈比特) （3）设 “两骰子面朝上点数是3和4”为事件C 。
在36种情况中，有两种情况，即3+4和4+3。
则2()2/36()log ()log 18 4.17(P C I C P C ==−=≈比特)2.2 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求：(1) 事件“3和5同时出现”的自信息量；(2) 事件“两个l 同时出现”的自信息量；(3) 两个点数之和(即2，3，…，12构成的子集)的熵；(4) 事件“两个骰子点数中至少有一个是1”的自信息量。
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，总共有36种可能的状态，每 种状态出现的概率都是1/36。
（1）设“3和5同时出现”为事件A 。
则在36种状态中，有两种可能的情况，即5+3和3+5。
则2()2/36()log ()log 18 4.17(P A I A P A ==−=≈比特)（2）设“两个l 同时出现”为事件B 。
则在36种状态中，只有一种可能情况，即1+1。
则：2()1/36()log ()log 36 5.17(P B I B P B ==−=≈比特)（3）设两个点数之和构成信源Z,它是由两个骰子的点数之和组合，即Z=Y+X.得：23456789101112()1/362/363/364/365/366/365/364/363/362/361/36()1Z P z P z ⎡⎤⎡=⎢⎥⎢⎣⎦⎣=∑⎤⎥⎦22222222()()log ()468106log 36[log 2log 3log 4log 5log 6]3636363636261210log 36[log 3log 5]3636365.17 1.896 3.274(ZH Z P z P z =−=−++++=−++≈−≈∑比特)2（4）在这36种状态中，至少有一个是1的状态共有11种，每种状态都是独立出现的，每种状态初点的概率都是1/36。
设“两个点数中至少有一个是1”为事件C 。
则：2()11/3611()log ()log 1.71(36P C I C P C ==−=−≈比特)2.3 设离散无记忆信源1234012()3/81/41/41/8X a a a a p x ====3⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，其发出的消息为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求：(1) 此消息的自信息是多少？(2) 在此消息中平均每个符号携带的信息量是多少?解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。
因此，此消息的自信息就等于各个符号的自信息之和。
则可得： 11222233244233(0)log ()log log 1.45(881(1)log ()log log 4=2(41(2)log ()log log 4=2(41(3)log ()log log 8=3(8I a P a I a P a I a P a I a P a ==−=−=≈==−=−===−=−===−=−=比特)比特)比特)比特) 此消息中共有14个符号“0”，13个符号“1”，12个符号“2”和6个符号“3”，则此消息的自信息是12314(0)13(1)12(2)6(3)14 1.4151321226387.71(I I a I a I a I a ==+=+=+=≈×+×+×+×≈比特)4⎤⎥⎦（2）此消息中共有45个信源符号，携带了87.81比特信息量，因此，此消息中平均每个符号携带的信息量为287.81/45 1.95(I =≈比特)2.4 有一个二元信源，计算该信源的熵。
01()0.90.1X p x ⎡⎤⎡=⎢⎥⎢⎣⎦⎣解：根据公式得该信源的熵为：22()(0)log (0)(1)log (1)0.9log 0.90.1log 0.10.4689(H X P x P x P x P x =−==−===−×−×≈比特/符号)2.5 设信源123456()0.20.190.180.170.160.17X a a a a a a p x ⎡⎤⎡=⎢⎥⎢⎣⎦⎣⎤⎥⎦，求该信源的熵，并解释为什么在本题中H(X)＞log6，不满足信源熵的极值性。
解：根据公式得信源熵为：()()log ()log 0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.16log 0.160.17log 0.172.65(/xi iiH X P x P x P P =−=−=−−−−−−≈∑∑比特符号)由离散信源熵的特性可知，其有一个最大值，等概分布时达到最大值，最大值为log q=log 6=2.58比特/符号。
现在H （X ）>log 6,不满足信源熵的极值性，这是因为，我们讨论的信源的概率空间应该是一个完备集，即611i i P ==∑,而在本题当中，61 1.071i i P ==≠∑，不是完备集，所以不满足信源熵的极值性。
2.6 每帧电视图像可以认为是由3×105 个像素组成，每个像素均是独立变化，若每个像素可取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？若有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：（1）亮度电平等概出现，即每个像素亮度信源为：128121281...()1()1/1281/128...1/128i i i X a a a P a P a =⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑ 则每个像素亮度含有的信息量为：2()log 1287()H X ==比特/符号 一帧图像每个像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源，得到每帧图像含有的信息量为：56()()310() 2.110N H X NH X H X ==××=×（比特/每帧）（2）同（1）中，汉字字汇信源为： 1000012100001...()1()1/100001/10000...1/10000i i i X b b b P b P b =⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑ 则每个汉字含有的信息量为：2()log 1000013.29()H Y =≈比特/字广播员口述电视图像是从此汉字字汇信源中独立的选取1000个字来描述的，所以广播员描述此帧图像所广播的信息量为：442()()1000log 10 1.32910N H Y NH Y ==≈×（比特/千字）（3）若广播员仍从此汉字字汇信源Y 中独立选取汉字来描述电视图像，每次口述一次汉字含有的信息量是H(Y)，每帧电视图像含有的信息量是，则广播员口述次图像至少需要使用的汉字数为： ()NH Y 65() 2.110 1.5810158000(()13.29N H X H Y ×≈≈×≈字)2.7 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表A ，“01”代表B ，“10”代表C ，“11”代表D 。