某事件发生所含有的信息量应该是该事件发生的先验概率
的函数。
2021/2/9
第13页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
函数 f [p(xi)] 应满足以下 4 个条件：
信 源
▼ f [p(xi)] 应是 p(xi) 的单调递减函数：
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
事件发生的概率越小，我们猜测它有没有发生的困难程度
信 就越大，不确定性就越大。
源 事件发生的概率越大，我们猜测这件事发生的可能性就越
大，不确定性就越小。
概率等于 1 的必然事件，就不存在不确定性。
源
p( y j ) p( xi / y j )
2021/2/9
第18页
概率复习
2.1 (5) 当X与Y 相互独立时：
单 符
p( y j / xi ) p( y j )
号 离 散
p( xi / y j ) p( xi ) p( xi y j ) p( xi )p( y j )
信
源
(6)
p( xi / y j )
信
源
1
I( xi / y j ) log2 p( xi / y j )
表示在特定条件下（yj已定）随机事件 xi 所带来的信息量
2021/2/9
第27页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ③ 条件自信息量 符
号 同理，xi 已知时发生 yj 的条件自信息量为： 离
散
信 源
i 1
j 1
i 1
m
p( y j / xi ) 1,
j 1
mn
p( xi y j ) 1
j1 i1
2021/2/9
第17页
概率复习
2.1
单
n
m
符 (3) p( xi y j ) p( y j ), p( xi y j ) p( xi )
号
i 1
j 1
离
散
信 (4) p( xi y j ) p( xi ) p( y j / xi )
单 ① 自信息量 符
号 信息量与不确定性
离 散
信息量的直观定义：
信
▼ 收到某消息获得的信息量
源
＝不确定性减少的量
＝（收到此消息前关于某事件发生的不确定性）
－（收到此消息后关于某事件发生的不确定性）
2021/2/9
第11页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
信息论与编码 （第二讲） ──────── ────── 自信息与熵
XXX 2017年春
E-mail：xxxxxx@ 2021/2/9 Department of Electronics and Information, 第1页
目录
2021/2/9
第1讲：绪论
第2讲：信源及其信息量1—自信息与熵
信 源
当事件 xi 发生以后：表示事件 xi 所含有（或所提供） 的信息量。在无噪信道中，事件 xi 发生后，能正确无误地
传输到收信者，所以 I(xi) 可代表接收到消息 xi 后所获得
的信息量。这是因为消除了 I(xi) 大小的不确定性，才获得
这么大小的信息量。
2021/2/9
第20页
2.1.1 离散变量的自信息量
源
▼ 一般都采用以“2”为底的对数，为了书写简洁，有时
把底数 2 略去不写。
2021/2/9
第24页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ② 联合自信息量 符
号 两个随机事件的信源模型为： 离
散 信 源
P
XY ( XY
)
x1 y1, p( x1 y1
),
, ,
x1 ym , p( x1 ym ),
第3讲：信源及其信息量2—平均互信息
第4讲：信源及其信息量3—多符号离散平稳信 源
第5讲：信源及其信息量4—马尔科夫信源
第6讲：信源及其信息量5—连续信源
第7讲：信源及其信息量6—信源编码定理
第8讲：信道及其容量1
第9讲：信道及其容量2
第10讲：信息率失真函数1
第11讲：信息率失真函数2
第12讲：习题课1 Electronics Engineering Department, NCUT
(1) 信源的描述方法
(2) 单符号离散信源数学模型
(3) 自信息量和条件自信息量
2021/2/9
第6页
2.1.1 离散变量的自信息量
2.1 (1) 信源的描述方法
单 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些 符 号 符号的取值是有限的或可数的。
离 散
单符号离散信源：只涉及一个随机事件，可用随机变量描述。
2.1 (3) 自信息量
单 ① 自信息量 符
号 自信息含义
离 散
自信息的测度单位及其换算关系
信
▼ 如果取以 2 为底，则信息量单位称为比特
源
I( xi ) log2
1 p( xi )
比特（binary unit）
2021/2/9
第21页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
当 p(x1)> p(x2) 时， f [p(x1)]< f
[p(x2)]
▼ 当 p(xi) =1时， f [p(xi)] =0
▼ 当 p(xi) =0时， f [p(xi)] =∞
▼ 两个独立事件的联合信息量应等于它们分别的信息量
2021/2/9
第14页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
号 自信息含义
离 散
自信息的测度单位及其换算关系
信
▼ 如果取以 e 为底，则信息量单位称为奈特
源
I( xi
)
ln
1 p( xi )
奈特（nature unit）
2021/2/9
第22页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 自信息含义
离 散
自信息的测度单位及其换算关系
第3页
第二章 信源及其信息量 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。
2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结
2021/2/9 Electronics Engineering Department, XXXX 第4页
号 信息量与不确定性
离 散
信息量的直观定义：
信
▼ 在无噪声时，通过信道的传输，可以完全不失真地收
源
到所发的消息，收到此消息后关于某事件发生的不确定性
完全消除，此项为零。因此：
收到某消息获得的信息量
性 2021/2/9
＝收到此消息前关于某事件发生的不确定 ＝信源输出的某消息中所含有的信息第量12页
信 源
X P(X
)
x1 p( x1
),
x2 p( x2 )
, ,
xn p( xn
)
如果知道事件 xi 已发生，则该事件所含有的自信息定
义为：
1 I ( xi ) log p( xi )
X，Y，Z 代表随机变量，指的是信源整体； 2021/2/9
第16页
概率复习
2.1 随机变量X ,Y分别取值于集合{ x1 , x2 , xi , , xn }
I( yj
/
xi ) log2
1 p( y j / xi )
2021/2/9
第2页
目录
2021/2/9
第13讲：信源编码1 第14讲：信源编码2 第15讲：信道编码概论 第16讲：线性分组码 第17讲：循环码 第18讲：卷积码 第19讲：习题课2 第20讲：上机1 第21讲：上机2 第22讲：上机3 第23讲：上机4 第24讲：总复习
Electronics Engineering Department, NCUT
x2 y1, , p( x2 y1), ,
x2 ym , , p( x2 ym ), ,
xn y1, , p( xn y1), ,
xn ym p( xn ym
)
nm
p( xi y j ) 1
其中：0≤p(xi yj)≤1 (i=1,2, …, n; j=1i,12j,1 …, m)，
则联合自信息量为：
信 多符号离散信源/扩展信源：每次输出是一个符号序列，序
源 列中每一位出现哪个符号都是随机的，而且一般前后符号之
间是有依赖关系的。可用随机矢量描述。
② 连续信源：输出连续消息。可用随机过程描述。
2021/2/9
第7页
2.1.1 离散变量的自信息量
2.1 (2) 单符号离散信源数学模型
单 单符号离散信源的数学模型就是离散型的概率空间： 符
信 收信者收到后，消除的不确定性就越大，获得的信息也就越
源 大。
由于种种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未消 除时，则收信者获得较少的信息或者说一点也没有获得信息。
2021/2/9
第10页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
I ( xi y j ) log2