信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
4 5
4 7
26 35
2.2 离散信源熵和互信息
10
离散信源熵和互信息
• 问题：
• 什么叫不确定度？ • 什么叫自信息量？ • 什么叫平均不确定度？ • 什么叫信源熵？ • 什么叫平均自信息量？ • 什么叫条件熵？ • 什么叫联合熵？ • 联合熵、条件熵和熵的关系是什么？
11
离散信源熵和互信息
比特(bit)； – 若取自然对数,则信息量的单位为奈特(nat); – 若以10为对数底,则信息量的单位为笛特(det)
1 nat＝log2e ≈ l.433 bit， l det＝log210≈3.322 bit
14
自信息量
• 不确定度 • 定义：
– 随机事件的不确定度在数量上等于它的自信 息量。
• 如果知道事件xi已发生,则该事件所含有的信息 量定义为:
I (xi ) log p(xi )
13
自信息量
• I (xi) 含义:
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量 • 自信息的单位的确定 – 在信息论中常用的对数底是2,信息量的单位为
当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合信息量等于它们分别的信
息量之和。
即统计独立信源的信息量等于它们分别的信息 量之和。
17
自信息量
• 一个出现概率接近于1的随机事件，发生的可 能性很大，所以它包含的不确定度就很小；
• 一个出现概率很小的随机事件，很难猜测在某 个时刻它能否发生，所以它包含的不确定度就 很大；
• 说明:
– 两者的单位相同，但含义却不相同。 – 具有某种概率分布的随机事件不管发生与否，
都存在不确定度，不确定度表征了该事件的 特性，而自信息量是在该事件发生后给予观 察者的信息量。
15
自信息量
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit
0.2W2 0.8W2
W0
W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(si | s j ) 0.3 0 0.7
0.2 0 0.8
6
• 例2-2：有一个二元二阶马尔可夫信源,其信源
• p(xi): xi的先验概率
• 单符号离散信源的数学模型—概率空间
X P
x1 p(x1
)
x2 L p(x2 ) L
xn
p(
xn
)
p( xi ) 0
n
p(xi ) 1
i 1
5
马氏链的基本概念
符号 状态
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
离散无记忆信源 离散有记忆信源
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
4
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1, x2,L , xn}
• 它们的概率分别为
P {p(x1), p(x2), L , p(xn)}
• 一个以等概率出现的二进制码元(0，1)所包含 的自信息量为：
I(0)= I(1)= －log2 (1/2)=log22=1 bit
• 一个m位的二进制数,有2m个等概率的可能组合 I=－log2(1/2m)=m bit
16
自信息量
• I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即
• 问题：
• 什么叫后验概率？ • 什么叫互信息量？ • 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
12
2.2.1 自信息量
• 设离散信源X，其概率空间为
X P
x1 p(x1
)
x2 … xn p(x2 ) … p(xn )
• 若是确定性事件，出现概率为1，则它包含的 不确定度为0。
符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
• 求：
⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率
7
• 符号条件概率矩阵
a0 a1
s1 1/ 2
p(a
j
|
si
)
s2 s3 s4
1/ 1/ 1/
3 4 5
1/ 2 2 / 3 3/ 4 4 / 5
• 状态转移概率矩阵
s1 s2 s3
s1 1/ 2 1/ 2 0
p(s
j
|
si
)
s2 s3 s4
0
1/ 4
0
0 3/4
0
1/ 3 0 1/ 5
(0)1/2