究其原因，第一事件是一个必然事件，人们不足为奇； 第三事件几乎不可能发生，它使人感到惊奇和意外，也就是 说，它带来更多的信息。因此，信息含量是与惊奇这一因素 相关联的，这是不确定性或不可预测性的结果。 越是不可预 测的事件， 越会使人感到惊奇，带来的信息越多。
根据概率论知识，事件的不确定性可用事件出现的概率 来描述。可能性越小，概率越小；反之，概率越大。因此， 消息中包含的信息量与消息发生的概率密切相关。消息出现 的概率越小，消息中包含的信息量就越大。假设P(xi)是一个 消息发生的概率，I(xi)是从该消息获悉的信息，根据上面的认 知， 显然I (xi)与P(xi)之间的关系反映为如下规律：
2. 离散信源的平均信息量
设离散信源是一个由n个符号组成的符号集， 其中每个符号
n
xi(i=1, 2, 3, …, n)出现的概率为P(xi)，

i 1
P(xi)=1,
则x1,
x2, …, xn 所包含的信息量分别为- log2 P(x1), -log2 P(x2)， …，
- log2 P(xn)。于是，每个符号所含信息量的统计平均值，即
1.906 (bit / 符号位）
可见，两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 而且随着消息序列长度的增加， 两种计算误差将趋于零。
例四 设一信息源的输出由128个不同符 号组成。其中16个出现的概率为1/32，其 余112个出现概率为1/224。信息源每秒发 出1000个符号，且每个符号彼此独立。试 计算该信息源的平均信息速率。
平均信息量为
H(x)=P(x1) ［ log2 P(x1) ］ +P(x2) ［ log2 P(x2) ］ +…+P(xn)
［log2 P(xn)］
n
= p(xi ) log 2 p(xi ) i 1
(bit / 符号）
由于H同热力学中的熵形式一样， 故通常又称它为信息
源的熵，其单位为bit/符号。
1.4 数字通信系统的主要性能指标
一般通信系统的性能指标归纳起来有以下几个 （1） 有效性：指通信系统传输消息的“速率” （2） 可靠性：指通信系统传输消息的“质量”
（3） 适应性：指通信系统使用时的
（4） 经济性：指系统的成本问题。 （5） 保密性：指系统对所传信号的 加密措施，这点对军用系统显得更加重要。 （6） 标准性：指系统的接口、各种
香农的论点
形式化假说
通信的任务只是在接收端把发送端发出的消息从 形式上复制出来，对消息的语义内容的处理和判断， 是接收者自己的事。
大胆的去掉了消息的语义、语用因素，保留了能 用数学描述的形式因素。
非决定论
一切有通信意义的消息的发生都是随机的，设计 者事先无法预料。消息传递过程中遇到的噪声干扰 也是随机的。所以，必须用概率论、随机过程、数 理统计等数学工具，从大量不可预料的随机消息 （包括噪声）中，寻求其统计规律，用非决定论观 点揭示信息的本质。
1.4.1 信息及其度量
通信系统中传输的具体对象是消息，但通信 的 最终目的是传递信息，因此有必要明确信息 的含义。
1 信息的含义
消息：有待于传输的文字、符号、数据和语言、活动图片等。 信息：可理解为消息中所包含的有意义的内容，不同的消息可以 包含相同的信息。有如下特征： 1）能被摄取； 2）可以传输（信息的本质特征） 3）能够转换和再生（信息的处理、变换） 4）能共享（通信的必要）
log N
当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，
该信源的平均信息量最大，且
N
Hmax
i 1
1 N
log
1 N
log N
二元信源信息熵与p的关系
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
（7） 维修性：指系统是否维修方便。 （8） 工艺性：指通信系统各种工艺 要求。
模拟通信系统的有效性可用有效传输频带来度量， 同样的消息用不同的调制方式，则需要不同的频带宽度。 可靠性用接收端最终输出信噪比来度量。不同调制方式 在同样信道信噪比下所得到的最终解调后的信噪比是不 同的。 如调频信号抗干扰能力比调幅好，但调频信号所 需传输频带却宽于调幅。
RB2=RBMlog2 M (B)
信息传输速率Rb简称传信率，又称比特率等。它表示单位时 间内传递的平均信息量或比特数，单位是比特/秒，可记为 bit/s ，或 b/s ，或bps。
每个码元或符号通常都含有一定bit数的信息量，因此码元 速率和信息速率有确定的关系。
频带利用率η比较不同通信系统的有效性时，单看它们的 传输速率是不够的，还应看在这样的传输速率下所占的信道的 频带宽度。所以，真正衡量数字通信系统传输效率的应当是单 位频带内的码元传输速率，即
离散(数字)消息，是一组未知量，可用随机序列 来描述：U=(U1… Ul … UL)
连续(模拟)消息，也是未知量，它可用随机过程 来描述：U(t,ω )
信息：它是更高层次哲学上的抽象，是信号与 消息的更高表达层次。三个层次中，信号最具 体，信息最抽象。它们三者之间的关系是哲学 上的内涵与外延的关系。
解：每个符号的平均信息量为
H
(x)
16

1 32
log
2
32
112

1 224
log
2
224

6.404bit
/
符号
已知码元速率RB=1000B，，故该信息源的
平均信息速率为
Rb RB H (x) 6404 bit / s
最大熵定理
N
H ( X ) p(xi ) log p(xi ) i 1
所以，信息就是用来消除不确定性的东西。通信 后接收者获取的信息，在数量上等于通信前后不确 定性的消除量。
“不确定性”与“可能性”的联 系
“可能性”的大小在数学上可用概率的大小 来表示。
“可能性”大就意味着“不确定性”小； “可能性”小就意味着“不确定性”大
“不确定性”就与消息发生的概率密切相关。 根据香农关于信息的定义，通信中获取的 “信息”，从数量上等于通信前后“不确定 性”的消除，也与消息发生的概率密切相关。
I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+…
综上所述， 信息量I与消息出现的概率P(x)之间的关系 应为
I (xi ) log a
1 p(xi )
log a
p(xi )
信息量的单位与对数底数a有关。 a=2时， 信息量的单位为 比特(bit)；a=e时，信息量的单位为奈特(nit)； a=10时， 信 息量的单位为十进制单位，叫哈特莱。目前广泛使用的单位 为比特。
这样，就从理论上解决了信息的度量问题。
2 离散消息的信息量
对接收者来说，只有消息中不确定的内容才 构成信息；否则，信源输出已确切知晓，就 没有必要再传输它了。因此，信息含量就是 对消息中这种不确定性的度量。
1）、信息量
首先，让我们从常识的角度来感觉三条消 息： ① 太阳从东方升起；② 太阳比往日大 两倍； ③ 太阳将从西方升起 。 第一条几乎 没有带来任何信息， 第二条带来了大量信息， 第三条带来的信息多于第二条。
错误码元数 pe 传输总码元数
误信率（信息差错率）Pb是指发生差错的比特数在传 输总比特数中所占的比例， 即
错误比特数数 pe 传输总比特数
显然， 在二进制中有 Pb=Pe
[例] 已知某八进制数字通信系统的信息速 率为 3000bit/s ，在收端10分钟内共测得出 现18个错误码元，试求该系统的误码率。
例一：已知二进制离散源（0，1）每个符号 等概率独立发送，求二进制波形之一的信息 量。 解：由于每一波形出现的概率为p(x)=1/2 故信息量 I＝log2[1/p(x)] = 1bit
例二：二进制离散信源（0，1）p(0)=1/3;求 出现 “1”的信息量。
解：由于全概率为1，故p(1)=2/3 信息量 I＝log2[2/3] = 0.585 bit
（1） 信息量是概率的函数， 即 I (xi) =f［P(xi)］
（2） P(xi)越小， I (xi)越大； 反之， I越小， 且 P(xi)→1时， I (xi) →0 P(xi)→0时， I (xi) →∞
（3） 若干个互相独立事件构成的消息， 所含信息量等于 各独立事件信息量之和，也就是说，信息具有相加性， 即
1、某信源的符号集由A、B、C、D和E组成， 设每一个符号独立出现，其出现概率分别为 1/4，1/8，1/8，3/16和5/13；信源以1000B 速率传送信息。
（1）求传送1小时的信息量；
（2）求传送1小时可能达到的最数字通信系统的有效性可用传输速率来衡量。 可靠性可 用差错率来衡量。
对通信活动的总的认识观，它从原则上解决了用 什么样的数学工具解决信息度量问题·
不确定性
通信前对某事件可能发生的若干结果不能做出明 确的判断，存在某种知识上的“不确定性”。通信 后，通过消息的传递，由原先的“不知道”到“知 道”，或由“知之不多”到“知之甚多”。即，通 信后，消除了或部分消除了通信前存在的不确定性。 所以通信的作用就是通过消息的传递，使接收者从 收到的消息中获取了一定的“信息”，消除了原先 存在的“不确定性”。
例三：一离散信源由0， 1， 2， 3四个符号组成，它们出现的 概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。 试求某消息
201020130213001203210100321010023102002010312032100120 210的信息量。