是随机出
i

现的，它是X的一个样值，所以是一个随机量。
而 I(xi ) 是 xi 的函数，它必须也是一个随机量。
d. 自信息量单位的确定
• 在信息论中常用的对数底是2，信息量的单位为比特 （bit），用log2或lb表示；（ bit /符号）
• 若取自然对数，则信息量的单位为奈特（nat），用loge 或ln表示；（nat/符号）
（4）英文字母中“e” 出现的概率为0.105，“c”出现的概 率为0.023，“o”出现的概率为0.001。分别计算它们的 自信息量。
解：“e”的自信息量 I（e）= - lb0.105=3.25 （bit/符号） “c”的自信息量 I（c）= -lb0.023=5.44 （bit/符号） “o”的自信息量 I（o）= -lb 0.001＝9.97 （bit/符号）
4. 联合自信息量
随机变量Z是两个随机变量X、Y的联合，即Z=XY，其概率空间：
[ XY , PXY ] [(xi , y j ), p(xi , y j ) | i 1, 2,..., N; j 1, 2,..., M ]
NM
( p(xi , y j ) 1, 概率空间完备） i1 j1
第二节 离散信源的信息论概念
问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？
（一） 自信息量
I
( x1 )

I (x2 )

I
( x3 )

I
(x4 )

lb
1 4

2(bit
/
符号)
注：
bit的含义是二进制数字（0、1），自信息量为2（bit/ 符号），意味着其不确定性可用2位二进制数字来度 量（00、01、10、11）。
若取4为对数底，自信息量为1（四进制单位/符号）， 意味着其不确定性可用1位四进制数字来度量（0、1、 2、3）。
I 14I (x1) 13I (x2 ) 12I (x3) 6I (x4 ) 87.81(bit / 符号)
平均一个符号的自信息量：
I / 45 87.81/ 45 1.95(bit / 符号)
（6）同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概 率均为1/6，试求： (a). 事件“3和5同时发生”的自信息量？ (b). 事件“两个1同时发生”的自信息量？ (c). 事件“两个点数中至少有一个是1”的自信息量？
I (xi ) log p(xi )
说明：
a. 自信息量 I (xi )是非负的。
b. 对于离散无记忆信源，符号串中各符号统计独 立，符号串自信息量具有可加性：
I logp(xi )
i
c. 因为概率 p(xi ) 越小，xi的出现就越稀罕，一旦出
现，所获得的信息量也就较大。由于
x
棋子落入的方格位置可以用取值于序号集合的随机变量Z来描述
Z {zl | l 1, 2,L ,64}
（1）由于棋子落入任一方格都是等可能的，则
p(zl
)

1 64
l 1, 2,L ,64
棋子落入某方格的不确定性就是自信息量
1 I (zl ) l b p(zl ) l b 64 6
第二章 信息论的基本概念
第一节 信源的描述和分类 第二节 离散信源的信息论概念 第三节 离散信源的熵
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
• 若以10为对数底，则信息量的单位为哈脱莱(Hartley)， 用log10或lg表示；（hartley/符号）
• 若对数底为r，则信息量的单位为r进制用单位/符号。
这三个信息量单位之间的转换关系如下：
1 nat＝log2e l.433 bit，
l Hartley ＝log210 3.322 bit
解: (a) 存在两种情况：甲3乙5，甲5乙3。
P(A)=1/36×2=1/18，I(A)=-lbP(A)=4.17（bit）。
(b) 存在一种情况：甲1乙1。
P(B)=1/36，I(B)=-lbP(B)=5.17（bit）。 (c) P(C)=1－5/6×5/6=11/36，I(C)=-lbP(C)=1.17（bit）。
求该消息的自信息量以及消息中平均每符号的自信息量？
解：信源符号的自信息量：
1 I (x1) log2 3/8 1.415
1 I (x2) I (x3) log2 1/ 4 2
1
I
(x4
)

log 1/
8

3
单位都是 bit/符号
信源无记忆，发出的符号串中各符号统计独立，由自信 息量的可加性，符号串自信息量等于各符号自信息量之和：
（7）在布袋中放入81枚硬币，它们的外形完全相同。已知有一 枚硬币与其它80枚硬币重量不同，但不知这个硬币比其它硬 币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重 量不同硬币的所需要的信息量是多少？并进一不确定它比其 它硬币是重还是轻所需要的信息量是多少？
解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。 (b) P(B)=1/2，P＝P(A)×P(B)＝1/162; I=-lbP=7.34（bit）。
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出 的符号序列中的各个符号之间没有统计关联性，各个符 号的出现概率是它自身的先验概率。
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联的。
先验概率
一个离散信源发出的各个符号消息的集合为：
X {x1, x2, , xn} ——状态空间
它们的概率分别为：
P {p(x1), p(x2 ), , p(xn )}
n
p(xi ) 0, p(xi ) 1 p(xi )为符号 xi的先验概率。
i 1
概率空间

• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
三、先验概率及概率空间的形式
一般信源可用一个概率空间来描述，信源的不确 定程度可用该概率空间的可能状态数目及其概率 来描述。
{ 离散信源
信源 连续信源
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
离散消息的信源，如文字、数字、数据等符号都是
离散消息。 离散无记忆信源
{ 离散信源
{ { 离散有记忆信源
在观察到符号yj的条件下xi还剩下的不确定性
I (xi | y j ) lbp(xi | y j )
bit/符号
p( y j | xi ) 转移概率
代表输入xi且观察到yj时干扰引入的不确定性
I ( y j | xi ) lbp( y j | xi )
bit/符号
几个关于条件自信息量的例子：
反之，一个出现概率很小的随机事件，很难猜测 在某个时刻它能否发生，所以它包含的不确定度 就很大；
若是确定性事件，出现概率为1，则它包含的不确 定度为0。
几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含
的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit/符号
X P



x1 p( x1 )
x2 p(x2 )
xn p(xn )
状态空间X中各状态 xi相互独立。
举例（二进制信源）：

X P


1 0.5
0 0.5
信息论所关心的就是这种随机变量的不确定性，驱使我们 对随机变量进行观察和测量，从中获取信息。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号代 表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个以 上符号的符号序列代表一个消息。
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
bit/符号
（2）棋盘方格可分为8行×8列，已知行号 xi (i 1, 2,L ,8)
后，棋子落入某方格的不确定性就是条件自信息量 I (zl | xi )
它与条件概率 p(zl | xi ) 有关，由于
I ( y j | xi ) lbp( y j | xi ) bit/符号
注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上
与条件自信息量相同，但两者含义不同。
条件自信息量物理意义：
条件自信息量的物理意义，要根据具体情况来做出相应的解释
如果X是观察输入，Y是观察输出：
p(xi | y j ) 后验概率
1. 甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落 入的位置是不确定的。试问： （1）在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋 子落入某方格的不确定性为多少？