石东新 中国传媒大学 信息工程学院 广播电视工程系
15
课程回顾
信息论与编码原理 ,2012
4.扩展性
0
limHq1 p1 , p2 ,pq , Hq p1 , p2 ,, pq
5.强可加性
H ( XY ) H ( X , Y ) H ( X ) H (Y | X )
19
课程回顾
信息论与编码原理 ,2012
各种熵之间的关系
H X , Y H X H Y|X

相互独立
H X , Y H Y H X|Y
H X , Y H X H Y
H X N |X 1 X 2 X N 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
13
课程回顾
信息论与编码原理 ,2012
第3次课 内容：“第二章 信息的度量2”
1. 对称性 2. 非负性 3. 确定性 4. 扩展性 5. 可加性 6. 极值性 7. 上凸性
石东新 中国传媒大学 信息工程学院 广播电视工程系
14
课程回顾
信息论与编码原理 ,2012
联合自信息 条件自信息
I xi y j log p xi y j
I xi | y j log p xi | y j
I ( xi y j ) I ( xi ) I ( y j | xi ) I ( y j ) I ( xi | y j )
石东新 中国传媒大学 信息工程学院 广播电视工程系
p(xi )H(Y | xi ) H(Y | X) i
H ( XY ) E I xi y j
p x y I x y p x y log p x y
i j i j
i j i j
XY
XY
p x y I y | x p xi y j log p y j | xi H (Y | X ) E I y j | xi i j j i
n
ln x x 1
n
H ( p1 , p 2 ,... p n ) pi log pi pi log qi
i 1 i 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
17
课程回顾
信息论与编码原理 ,2012
H ( p1 , p2 ,..., pn ) 是概率分布 ( p1 , p2 ,..., pn ) 的严格上凸函数，即
1.对称性
H p1 , p2 , pq H p2 , p1 , pq H pq , p1 , pq 1
2.非负性
H P H p1, p2 ,, pq 0
3.确定性
H 1,0 H 1,0,0 H 1,0,,0 0
1 1/4 1/18 0 2 1/18 1/3 1/18 3 0 1/18 7/36
9
ai
2 3
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
第2次课 内容：“第二章 信息的度量1”
自信息：随机事件发生概率的对数的负值
1 I xi log p xi log p xi
互信息有两方面的含义
-表示事件 yj 出现前后关于事件xi 的不确定性减少的 量 -事件 yj 出现以后信宿获得的关于事件 xi的信息量
1 1 I ( xi ; y j ) log log I ( y j ) I ( y j | xi ) p( xi ) p ( xi | y j )
信道 信宿
信源译码 信道译码 解调器
干 扰 源
石东新 中国传媒大学 信息工程学院 广播电视工程系
3
课程回顾
信息论与编码原理 ,2012
信息论的研究内容
1、什么是信息？如何 度量信息？ 2、信源的输出中含有 多少信息？ 3、传输信息的最高速率 （信道容量）
6、有噪信道编码 4、无失真信源编码 5、限失真信源编码
石东新 中国传媒大学 信息工程学院 广播电视工程系
4
课程回顾
信息论与编码原理 ,2012
信息论的形成与发展 概率论知识的回顾
• 全概率公式（求边缘概率)
p ( y j ) p ( xi ) p ( y j | xi ) p ( xi y j )
p( xi ) p( y j ) p( xi | y j )
p(y1) p(xi )p(y1 | xi ) p(x1) p( y1 | x1) p(x2 ) p(y1 | x2 )
1/ 4 1/ 2 3 / 4 0 1/ 8
i1
PX 1/ 4 3 / 4
PX p ( x1 ) p ( x2 ) 12
1/2 1/2 0 P Y| X 0 1/3 2/3
11
课程回顾
信息论与编码原理 ,2012
平均自信息
H X E I xi p xi I ( xi ) p xi log p xi
i 1
i 1
q
q
自信息与信息熵不同
自信息 单个样本 随机事件 个体
信息熵 整个信源 随机变量 总体特性
H X 1 X 2 X N H X 1 H X 2|X 1
H X 1 X 2 X N NH X
石东新 中国传媒大学 信息工程学院 广播电视工程系
独立同分布
20
课程回顾
信息论与编码原理 ,2012
各种熵之间的关系
H X|Y H X
自信息量的单位与所用对数的底有关
log X lg x / lg 2 lg x *log10 3.322 lg x
石东新 中国传媒大学 信息工程学院 广播电视工程系
10
课程回顾
信息论与编码原理 ,2012
自信息物理意义 • 事件发生前
– 描述该事件发生的不确定性的大小
• 事件发生后
– 表示该事件所含有（提供）的信息量
p ( xi ) 先验概率
p( x ) p( y
i 1 i
n
j
| xi )
p ( xi | y j ) 后验概率
• 其它常用概率关系:
p( x | y ) 1
i 1 i j
石东新 中国传媒大学 信息工程学院 广播电视工程系
n
p( y
j 1
m
j
| xi ) 1
6
y1 y2 y3 P 11/2 1/2 0 Y| X x x2 0 1/3 2/3
j 1
n
n
i 1 m
i 1
石东新 中国传媒大学 信息工程学院 广播电视工程系
5
课程回顾
信息论与编码原理 ,2012
预备知识 – 联合概率和条件概率
• 贝叶斯(Bayes)公式:
p ( xi | y j ) p ( xi y j ) p( y j )

p ( xi ) p ( y j | xi )
H (p) (1 ) H (p ') H (1 ) ' p p
7.极值性 •最大离散熵定理
1 1 1 H ( p1 , p2 ,..., pn ) H ( , ,..., ) log n n n n
石东新 中国传媒大学 信息工程学院 广播电视工程系
p(y1 | x1) p(y2 | x1) p(y3 | x1) P YX | p(y1 | x2) p(y2 | x2) p(y3 | x2)23
PX p ( x1 ) p ( x2 ) 12
PX 1/ 4 3 / 4
P XP Y| X p ( x1 ) p ( y1 | x1 ) p ( x2 ) p ( y1 | x2 )
18
课程回顾
信息论与编码原理 ,2012
第4次课 内容：“第二章 信息的度量3”
熵函数的极值性
1 1 1 H ( p1 , p2 ,..., pn ) H ( , ,..., ) log n n n n
H(X) [ plog p (1 p)log(1 p)]
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
信息论与编码原理 ----课程回顾
石东新 中国传媒大学 信息工程学院 广播电视工程系
1
课程回顾
信息论与编码原理 ,2012
第1次课 内容：“第一章 绪论”
什么是信息？ 消息：能被人的感觉器官所感知。 信号：适合信道传输的物理量。 信息：是事物运动状态或存在方式下不确定 性的描述
12
石东新 中国传媒大学 信息工程学院 广播电视工程系
课程回顾
信息论与编码原理 ,2012
信息熵物理意义 • • • • 信源输出前，信源的平均不确定性； 平均不确定性 信源输出后，每个符号给出的平均信息量； 平均信息量 表征变量X随机性的大小。 随机性 表征变量X的最小描述复杂度。 最小描述复杂度
p(y1 | x1) p(y2 | x1) p(y3 | x1) P | YX | ) ( | ) ( | ) p ( y x p y x p y x 2 2 3 2 23 1 2
p ( x y ) 1 1 P XY p( x y ) 2 1
p ( x1 ) p ( y1 | x1 ) p ( x2 ) p ( y1 | x2 )
XY
XY
石东新 中国传媒大学 信息工程学院 广播电视工程系