则消息所含的信息量为 60×H(X)=114.3bit
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
3个信息量单位之间的转化关系为：
1 nat = log2 e = 1.433 bit
1 det = log210 = 3.322 bit
2. 随机事件的不确定性
出现概率大的随机事件，包含的不确定性小， 即自信息量小；
出现概率小的随机事件，包含的不确定性大， 即自信息量大；
出现概率为1的随机事件，包含的不确定性为 0，即自信息量为0；
i
i
单位
bit / 符号
nat / 符号
det / 符号
2. 信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体
特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量，
H ( X ) p(xi )I (xi ) p(xi ) log p(xi )
于是有
I (xi , y j ) I (xi ) I ( y j )
条件自信息量：
当 xi 和 y j 相互联系时，在事件 y j出现的条
件下， xi 的自信息量称为条件自信息量，定义为
I (xiyj ) log p(xiyj ) p(xiy j ) 为在事件 y j出现的条件下，xi 发生的
2.2 离散信源熵和互信息
2.2.1 自信息量 2.2.2 离散信源熵
要求：1. 掌握自信息量、联合自信息量和条 件自信息量的含义和计算方法；
2. 掌握单符号熵、条件熵与联合熵的 含义和计算方法。
2.2.1 自信息量
信源发出某一符号 xi (i 1,2, , n) 后，它提供
多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量，

log
3 8

1.42
bit
2.2.2 离散信源熵
1. 平均自信息量
对于一个给定信源，各个符号的自信息量是与各 自的概率分布有关的一个随机变量，不能作为信源总 体的信息量度，我们采用求平均的方法。定义自信息 量的数学期望为信源的平均自信息量，即
E[I ( X )] p(xi )I (xi ) p(xi ) log p(xi )
i
i
但两者的含义不同：
平均自信息量：消除信源不确定度时所需要 的信息的量度，即收到一个信源符号，全部解 除了这个符号的不确定度。或者说，获得这样 大的信息量后，信源不确定度就被消除了。
信源平均不确定度（信源熵） ：在总体平均 意义上的信源不确定度。不管是否输出符号， 只要这些符号具有某种概率分布，就决定了信 源的平均不确定度（信源熵）。
例2-5 设信源符号集X＝{x1,x2,x3},每个符号发 生的概率分别为p(x1)=1/2， p(x2)=1/4， p(x3)=1/4，求信源熵H(X)。
解： H ( X ) p(xi ) log p(xi )
i
＝ 1 log 1 1 log 1 1 log 1 1.5bit / 符号 2 24 44 4
２ p xi 1 ，I xi 0;
３ 非负性；
４ 单调递减性；
５ 可加性：
5. 联合自信息量与条件自信息量
若有两个符号 xi 、y j 同时出现，用联合概率
p(xi , y j ) 来表示，联合自信息量为
I (xi , y j ) log p(xi , y j )
当 xi 和y j 相互独立时，有p(xi , y j ) p(xi ) p( y j )
即该信源中平均每个符号所包含的信息量 为1.5bit。
例: 已知某信源的概率空间为
X

P




0 3
8
1 1
4
2 1
3 1

4 8
求由该信源发出60个符号构成的消息所含的信 息量。
解：先求平均每个符号的信息量，即信息熵
H (X ) H (3 , 1 , 1 , 1) 1.905bit / 符号 8448
“女大学生中有75％身高为1.6m以上”即
p(x2 | x1)=3/4; 事件“身高1.6m以上的某女孩是大学生”出现的概率为
p( x1
|x2)
p(x1, x2 ) p(x2 )

p(x2
| x1 ) p(x1 ) p(x2 )

3 8
则信息量
I
( x1
|
x2
)


log
p( x1
|
x2)Biblioteka 在数量上等于通信前后不确定性的消除(减少)的量。
1. 定义：任意随机事件的自信息量定义为该事件发生概 率的对数的负值。 如：定义为具有概率为p(xi)的符号xi的自信息量为 I (xi)= - log p(xi) 说明：自信息量的单位与所用的对数的底数有关。 对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）；
3. 不确定度与自信息量：
信源符号自信息量：指某一符号出现后，提 供给收信者的信息量；
信源符号不确定度：它是信源符号固有的， 不管符号是否发出，都存在不确定度。
信源符号自信息量与信源符号不确定度在数量 上相等，两者单位也相同。
4. 自信息量的特性：
１ pxi 0 ，I xi ;
条件概率。
p(xi , y j ) p(xi | y j ) p( y j )
I (x, y) I (xi | y j ) I ( y j )
例2-3：英文字母中“e”的出现概率为0.105， “o”的出现概率为0.001。分别计算它们的自 信息量。
解： “e”的自信息量 I (e)= - log2 0.105 =3.25bit;
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;