第二章
信源与信息熵
内容
2.1 信源的描述和分类
2.2 离散信源熵和互信息 2.3 离散序列信源的熵
2.4 连续信源的熵和互信息
2.5 冗余度
2
2.2 离散信源熵和互信息
3
2.2.4 数据处理中信息的变化
• 数据处理定理 :
–当消息通过多级处理器时,随着处理器数目增多, 输入消息与输出消息间的平均互信息量趋于变小

H ( X 2 | X 1 ) p(ai a j ) log p(a j | ai ) 0.872bit / 符号
i 0 j 0
22
2
2
• 发二重符号序列的熵
H ( X 1 , X 2 ) p(ai , a j ) log p(ai , a j ) 2.41bit / 符号
– 指信源每次发出一组含二个以上符号的符号序 列代表一个消息。
11
• 发出单个符号的信源
X 1 2 3 4 5 6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
• 发出符号序列的信源
X 000 001 010 011 100 101 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
HL(X)≤HL-1(X)
证明: LHL(X)=H(X1X2…XL) =H(X1X2…XL-1)+ H(XL/ X1X2…XL-1) = (L-1)HL-1(X)+ H(XL/ XL-1) ≤ (L-1)HL-1(X)+ HL(X) 所以 HL(X) ≤ HL-1(X) 同理,有 H∞ (X) ≤ … ≤ HL+1(X) ≤ HL(X) ≤ HL-1(X) ≤ … ≤ H0(X)
i 0 j 0 2 2
• 联合熵H(X1,X2)表示平均每二个信源符号所携 带的信息量。 • 我们用1/2H(X1,X2)作为二维平稳信源X的信息 熵的近似值。那么平均每一个信源符号携带的 信息量近似为:
1 2 H 2 ( X ) H ( X ) 1.21bit / 符号 2 符号之间存在关联性 比较 H 2 ( X ) H1 ( X )
9
2.3 离散序列信源的熵
10
2.3.1 离散无记忆信源的序列熵
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
l L
• 平均每个符号的熵为：
1 HL(X ) H (X L) L
• 若当信源退化为无记忆时: 若进一步又满足平稳性时
H (X ) H (Xl )
l
L
H ( X ) LH ( X )
20
• 例已知离散有记忆信源中 各符号的概率空间为:
a X 0 P 11 36
1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
17
• 信源的序列熵
H (Χ) H ( X ) p(ai ) log p(ai ) 3bit / 序列
L i 1
9
• 平均每个符号(消息)熵为
H ( X ) p( xi ) log p( xi ) 1.5bit / 符号
• 当前后符号无依存关系时,有下列推论：
H ( X1 X 2 ) H ( X1 ) H ( X 2 ) H ( X 1 | X 2 ) H ( X 1 ), H ( X 2 | X 1 ) H ( X 2 )
19
• 若信源输出一个L长序列,则信源的序列熵为
H ( X ) H ( X1 X 2 X L ) H ( X 1 ) H ( X 2 | X 1 ) H ( X L | X L 1 X 1 ) H ( X l | X l 1 ) H ( X L )
• 假设Y条件下X和Z相互独立
I ( X ; Z ) I (Y ; Z ) I ( X ; Z ) I ( X ;Y )
X 第一级处理器 Y 第二级处理器 Z
输入
级联处理器
4
数据处理定理
• 数据处理定理说明：
– 当对信号、数据或消息进行多级处理时,每 处理一次,就有可能损失一部分信息,也就是 说数据处理会把信号、数据或消息变成更有 用的形式，但是绝不会创造出新的信息,这 就是所谓的信息不增原理。
12
离散无记忆信源的序列熵
• 设信源输出的随机序列为
X =(X1X2…Xl…XL)
• 序列中的变量Xl∈{x1,x2,… xn} • X称为离散无记忆信源X的L次扩展信源 • 随机序列的概率为
p( X ) p( xi1 , xi2 ,, xiL ) p( xi1 ) p( xi2 | xi1 ) p( xi3 | xi1 xi2 ) p( xiL | xi1 xi2 xiL1 )
a1 4 9
a2 1 4
• 设发出的符号只与前一个符号有关,这两个符 号的概率关联性用条件概率p(aj|ai)表示,如表 • 求离散信源的序列熵和平均每个符号的熵?
a0 a1 2/11 3/4 a2 0 1/8
p(aj|ai)
a0 a1
9/11 1/8
a2
0
2/9
7/9
21
• 由 p(ai,aj) = p(ai) p(aj| ai) • 计算得联合概率p(ai aj)如表
26
⑷
H ( X ) lim H L ( X ) lim H ( X L | X 1 X 2 X L1 )
– 即用 1比特就可表示该事件。 • 如果以两个符号出现(L=2的序列)为一事件， 则随机序列X∈(00,01,10,11)，信源的序列熵
H (X) log 2 4 2bit / 序列
– 即用2比特才能表示该事件。 • 信源的符号熵 1 H 2 ( X ) H ( X ) 1bit / 符号 2
6
2.2.5 熵的性质
1.非负性 H(X)＝H(p1，p2，…，pn)≥0 – 式中等号只有在pi =1时成立。
2.对称性
H(p1，p2，…，pn) = H(p2，p1，…，pn) – 例如下列信源的熵都是相等的：
X x1 x2 x3 Y y1 y 2 y3 Z z1 z 2 z3 P 1 / 3 1 / 2 1 / 6 P 1 / 3 1 / 6 1 / 2 P 1 / 2 1 / 3 1 / 6
5
• 三维联合集XYZ上的平均互信息量
I ( X ; YZ ) I ( X , Y ) I ( X ; Z | Y ) I (YZ ; X ) I (Y ; X ) I ( Z ; X | Y ) I ( X ; YZ ) I ( X ; ZY ) I ( X ; Z ) I ( X ; Y | Z ) I ( X ; Z ) I ( X ;Y ) I ( X ; Z | Y ) I ( X ;Y | Z ) I ( XY ; Z ) I ( X ; Z ) I (Y ; Z | X ) I (Y ; Z ) I ( X ; Z | Y )
i 1 i 1
8
n
n
熵的性质
5.最大熵定理
• 离散无记忆信源输出M个不同的信息符号,当且仅 当各个符号出现概率相等时即( pi＝1/M)熵最大。
6.条件熵小于无条件熵
1 1 H ( X ) H , log 2 M M M
H (X |Y) H (X ) H (Y | X ) H (Y ) H ( XY ) H ( X ) H (Y )
l 1
L
• 信源的序列熵
H ( X ) LH ( X )
• 平均每个符号(消息)熵为
1 HL(X ) H (X ) H (X ) L
15
例:有一个无记忆信源随机变量X∈(0,1),等概率分
布,若以单个符号出现为一事件,则此时的信源熵:
H ( X ) log 2 2 1bit / 符号
16
• 例:有一离散平稳无记忆信源 求：二次扩展信源的熵
x x x 1 2 3 X p ( x) 1 1 1 2 4 4
X2信源 的元素 对应的 消息序列
概率p(ai)
a1
a2
a3
a4
a5
a6
a7
a8
a9
x1 x1 x1 x2 x1 x3 x2 x1 x2 x2 x2 x3 x3 x1 x3 x2 x3 x3
L l 1
• 信源的序列熵
H ( X ) p( xi ) log p( xi )
i 1 nL
p( xil ) log p( xil ) H ( X l )
i l l
14
L
L
离散无记忆信源的序列熵
• 若又满足平稳特性,即与序号l无关时：
p( X ) p( xil ) p L
24
⑵ L给定时,平均符号熵≥条件熵：
H L(X)≥H (XL|XL-1)
证明: HL(X)=H(X1X2…XL)/L =[H(X1)+H(X2/X1)+…+H(XL/X1X2…XL-1)]/L ≥ [LH(XL/X1X2…XL-1)]/L = H(XL/XL-1)
25
⑶ HL(X)是L的单调非增函数
7
熵的性质
3.确定性
H(X)＝H(p1，p2，…，pn)≥0 – 只要信源符号中有一个符号出现概率为1,信 源熵就等于零。 4.极值性(香农辅助定理) – 对任意两个消息数相同的信源