P(bi
)
=
1
则每个汉字含有的信息量为：
H (Y ) = log2 10000 ≈ 13.29(比特/字)
广播员口述电视图像是从此汉字字汇信源中独立的选取 1000 个字来描述的，所以广播员描述此帧 图像所广播的信息量为：
H (Y N ) = NH (Y ) = 1000 log2 104 ≈ 1.329 ×10（4 比特/千字）
−0.17 log 0.17 − 0.16 log 0.16 − 0.17 log 0.17
≈ 2.65(比特 / 符号)
由离散信源熵的特性可知，其有一个最大值，等概分布时达到最大值，最大值为 log q= log 6=2.58 比特/符号。现在 H（X）>log 6,不满足信源熵的极值性，这是因为，我们讨论的信源的
1.5 你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？ 略。
1.6 什么是事物的不确定性？不确定性如何与信息的测度发生关系？ 由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。所以在通信以前，收信
者存在“疑义”和“不知”，即不确定性。
用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随 机事件的数学工具——概率论和随机过程来测度不确定性的大小。
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则
P( A) = 2 / 36 I ( A) = − log P( A) = log2 18 ≈ 4.17(比特)
2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00” 代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。
(1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）不同字母等概率出现时，符号集的概率空间为：
2
+
6 36
log2
3
+
8 36
log2
4
+
10 36
log2
5
+
6 36
log2
6]
=
log
2
36
−
[
26 36
+
12 36
log
2
3
+
10 36
log
2
5]
≈ 5.17 −1.896 ≈ 3.274(比特)
（4）在这 36 种状态中，至少有一个是 1 的状态共有 11 种，每种状态都是独立出现的，每种状态初点
1.7 试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出 它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。
略。
1.8 在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？ 略。
Chap2 思考题与习题 参考答案
2.1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“两骰子面朝上点数之和为 8”或“两 骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解：同时扔一对均匀的骰子，可能呈现的状态数有 36 种，各面呈现的概率为 1/6，所以 36 种中任何一 种状态出现的概率都是相等，为 1/36。 （1）设 “两骰子面朝上点数之和为 2”为事件 A。在 36 种情况中，只有一种情况，即 1+1。则
1.4 简述一个通信系统包括的各主要功能模块及其作用。 通信系统主要分成下列五个部分： （1）信息源。 信源是产生消息和消息序列的源。 （2）编码器。 编码是把消息变换成信号的措施。 （3）信道。信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。 （4）译码器。译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。 （5）信宿。 信宿是消息传送的对象，即接收消息的人或机器。
的概率都是 1/36。设“两个点数中至少有一个是 1”为事件 C。则：
P(C) = 11/ 36
I
(C)
=
−
log
P(C)
=
−
log2
11 36
≈
1.71(比特)
2.3
设离散无记忆信源
⎡ ⎢ ⎣
X⎤ p( x) ⎥⎦
=
⎡ a1
⎢ ⎣
3
=0 /8
a2 = 1 1/ 4
a3 = 2 1/ 4
a4 1
= 3⎤
/8
⎥ ⎦
，其发出的消息为(202
120
130
213
001
203 210 110 321 010 021 032 011 223 210)，求：
(1) 此消息的自信息是多少？
(2) 在此消息中平均每个符号携带的信息量是多少?
解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因
此，此消息的自信息就等于各个符号的自信息之和。则可得：
I
(a1
=
0)
=
−
log
P(a1 )
=
−
log
3 8
=
log2
3 8
≈
1.45(比特)
I (a2
= 1)
=
− log
P(a2 )=来自− log1 4
=
log2
4=2(比特)
I (a3
=
2)
=
− log
P(a3 )
=
− log
1 4
=
log2
4=2(比特)
=
⎡2 ⎢⎣1/ 36
3 2 / 36
4 3 / 36
5 4 / 36
6 5 / 36
7 6 / 36
8 5 / 36
9 4 / 36
10 3 / 36
11 2 / 36
12 ⎤ 1/ 36⎥⎦
∑ P(z) =1
H (Z ) = −∑ P(z) log P(z) Z
=
log2
36
−
[
4 36
log2
1.3 简述信息与消息、信号的定义以及三者之间的关系。 信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和
主观思维活动的状态表达出来成为消息。 把消息变换成适合信道传输的物理量，这种物理量称为信号。 它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。
∑ ⎡
⎢ ⎣
X P(ai
⎤ )⎥⎦
=
⎡ a1 ⎢⎣1/128
a2 1/128
... ...
a128 ⎤ 1/128⎥⎦
128 i =1
P(ai
)
=1
则每个像素亮度含有的信息量为：
H ( X ) = log2 128 = 7(比特/符号)
一帧图像每个像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 N 次扩展信 源，得到每帧图像含有的信息量为：
问每帧图像含有多少信息量？若有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视 图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若 要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解：（1）亮度电平等概出现，即每个像素亮度信源为：
36 5
≈
2.85(比特)
（3）设 “两骰子面朝上点数是 3 和 4”为事件 C。在 36 种情况中，有两种情况，即 3+4 和 4+3。
P(C) = 2 / 36
则
I (C) = − log P(C) = log2 18 ≈ 4.17(比特)
2.2 同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，求： (1) 事件“3 和 5 同时出现”的自信息量； (2) 事件“两个 l 同时出现”的自信息量； (3) 两个点数之和(即 2，3，…，12 构成的子集)的熵； (4) 事件“两个骰子点数中至少有一个是 1”的自信息量。
P( A) = 1/ 36 I ( A) = − log P( A) = log2 36 ≈ 5.17(比特)
（2）设 “两骰子面朝上点数之和为 8”为事件 B。在 36 种情况中，有六种情况，即 5+3，3+5，2+6，
6+2，4+4。
P(B) = 5 / 36
则
I
(B)
=
−
log
P(B)
=
log2
2.5
设信源
⎡ ⎢⎣
X⎤ p( x) ⎥⎦
=
⎡ a1 ⎢⎣0.2
a2 0.19
a3 0.18