2.2 离散信源的信息熵
❖ 2.2.1 自信息 ?????
问题的提出:
❖ 每个消息携带多少信息量？ ❖ 整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后， 才能消除不确定性获得信息。
如果某一消息发生的不确定性越大，一旦发生，获得的信息量 就越大。
不确定性的消除是一个从“不知-知”的过程，在此过程中，收 信者获得足够的信息量。
log 2
1 P2 ( x)
log 2
1 P3 ( x)
log 2
1 14
log
2
1 பைடு நூலகம்2
1
第三次获得的信息量
I[P3 ( x)]
log 2
1 P3 ( x)
log 2
1 12
1
2.2 离散信源的信息熵
结论：
收到某消息获得的信息量 =不确定性减少的量 =（收到消息前某事件发生的不确定性） -（收到消息后关于该事件的不确定性）
Y P( y)
b1 0.5
b2 0.5
H ( X ) 0.99log 0.99 0.01log 0.01 0.08(比特/ 符号) H (Y ) 0.5log 0.5 0.5log 0.5 1(比特/ 符号)
可见
H (Y ) H (X )
信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输
消息发生的不确定性和发生的概率有关，消息发生的概率越小， 则消息中包含的信息量就越大。消息ai 发生所含有的信息量称 为消息ai 的自信息量。
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统
2.2.2 信源熵的物理意义
信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平 均信息量。
信源熵H(X)表示信源输出前，信源的平均不确定性。 信源熵H(X)反映了变量X的随机性。
2.2 离散信源的信息熵
例如有两个信源，其概率空间分别为：
X P( x)
a1 0.99
a2 0.01
]
p(ai )
i 1
p(ai ) log 2
p(ai )
单位：比特/符号。（底数不同，单位不同） 信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义
上来表征信源的总体信息测度。
对于某特定的信源（概率空间给定），其信息熵是个确定的数 值。
不同的信源因统计特性不同，其熵也不同。
2.2 离散信源的信息熵
I(x)的含义：
❖ 事件x发生前， I(x)表示事件x发生的不确定性 ❖ 事件x发生后， I(x)表示事件x所含有（或所提供）的信息量
2.2 离散信源的信息熵
例2.1 假设一条电线上串联8个灯泡，这8个灯泡 损坏的可能性是等概率的，现假设这8个灯泡有一 个且只有1个已经损坏，让我们检查判断哪一个灯 泡损坏并分析信息获取的过程。
计独立信源的信息量等于分别信息量之和。
满足上述3条件的关系式如下：
I ( x) log a
1 P( x)
log a
P( x)
－自信息量的定义
2.2 离散信源的信息熵
I ( x) log a
1 P( x)
log a
P( x)
上式中对数的底：
❖ 若a = 2，信息量的单位称为比特(bit) ❖ 若a = e，信息量的单位称为奈特(nat)， ❖ 若 a = 10，信息量的单位称为哈特(Hart)
解：用万用表进行检查判断
2.2 离散信源的信息熵
第三次
第 第二 二次 次
第 第一 一次 次
第一次获得的信息量
I[P1( x)] I[P2 ( x)]
log 2
1 P1( x)
log 2
1 P2 ( x)
log 2
1 18
log 2
1 14
1
第二次获得的信息量
I[P2 ( x)] I[P3 ( x)]
出消息前，接收者对信源存在的平均不确定程度的大小，也反
映了信源随机性的大小。
自信息是指某一消息所含有的信息量，消息不同，所含有的 信息量也不同，不能用它作为整个信源的信息测度。
信息熵
用什么作为整个信源的信息测度?
2.2 离散信源的信息熵
❖ 2.2.2 信息熵
各离散消息自信息量的数学期望，即信源的平均自信息量—— 信息熵。
1
n
H ( X ) E[I (ai )] E[log 2