当前位置:文档之家› 第2章 信源熵 第2讲 信源熵(平均自信息量)与 平均互信息量

第2章 信源熵 第2讲 信源熵(平均自信息量)与 平均互信息量

– 干扰和噪声“污染”被传输的信息 – 到达接收端的平均信息量比信源熵少了一些 – 少掉的部分就是条件熵 H(X/Y)
• 条件熵H(X/Y)表征了对接收的每一个符号的正确性所产生怀疑的程度, 故称为疑义度。
余 映 云南大学
30/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
2.2 信源熵和平均互信息量
余 映 云南大学
1/52
2.2.1 信源熵(平均自信息量)
余 映 云南大学
2/52
信源熵
• 自信息是一个随机变量:指某一信源发出某一消息所含有 的信息量。发出的消息不同,含有的信息量也就不同。 • 信源熵(信息熵):平均自信息量,自信息量的数学期望。
• 单位:取决于对数选取的底。一般选用以2为底,其单位 为比特/符号。 • 意义:信息熵从整个信源的统计特性来考虑,是从平均意 义上来表征信源的总体不确定度。信源给定,概率空间就 给定,信源熵就是一个确定值,不同的信源因概率空间不 同,其熵值也不同。
余 映 云南大学 13/38
熵的性质
• (4) 香农辅助定理/极值性
• 对任意两个消息数相同的信源 ,有
• 任一概率分布 p(xi),对其它概率分布 p(yi) 的自信息取数 学期望时,必不小于 p(xi) 本身的熵。 • 用途:主要用于数学证明。
余 映 云南大学 14/38
熵的性质
• (5) (离散信源)最大熵定理
12/38
熵的性质
• (3) 确定性
H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0, …,0)=0 • 在概率矢量 P(X)=[p(x1),p(x2),…,p(xn)] 中 • 当 p(xi)=1 时,-p(xi)logp(xi)=0; • 其余变量 p(xj) = 0 (j≠i), • 只要信源符号表中有一个符号出现概率为1,信源熵就等 于0。在概率空间中,如果有两个基本事实,其中一个是 必然事件,另一个则是不可能事件,因此没有不确定性, 熵必为0。当然可以类推到 n 个基本事件构成的概率空间。
余 映 云南大学
21/38
熵的性质
• 证明:
余 映 云南大学
22/38
2.2.2 平均互信息量
余 映 云南大学
23/38
平均互信息量
• 自信息量 → 熵 • 互信息量 → 平均互信息量 • • 定义:两个离散随机事件集合 X 和 Y ,若其任意 两事件间的互信息量为 I(xi;yj),则其联合概率 加权的统计平均值,称为两集合的平均互信息量, 用I(X;Y)表示。
• ① 观察者站在输出端 • I(X;Y) = H(X) – H(X/Y)
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度(损失熵)。 表示已知Y 后,对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
余 映 云南大学 10/38
熵的性质
• (1) 非负性 H(X) ≥ 0
• 因为随机变量 X 所有取值的概率分布满足 0 ≤ p(xi) ≤ 1; • 取对数的底大于 1 时 -log p(xi) ≥ 0,而 -p(xi)log p(xi) ≥ 0, 所以熵 H(X) ≥ 0; • 只有当随机变量是一确知量时,熵 H(X) = 0。
余 映 云南大学
5/38
信源熵的三种物理含义
• 信源熵是从平均意义上表征信源总体特性的量。 具有以下三种物理含义 – ① 表示信源输出一个消息/符号所提供的平均 信息量; – ② 表示信源输出前,信源的平均不确定性; – ③ 信源熵 H(X) 可用来反映了变量 X 的随机性。
• 如,若变量 X 取 x1 和 x2 是等概率的,则它的随机 性大。若变量 X 取 x1 的概率比取 x2 的概率大很多, 则它的随机性就小。
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球,其中80个是黄色的,20个是白色的。 随便摸出一个球,猜测是什么颜色,其概率空间为
– x1:表示摸出的是黄球,x2:表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的, 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性,成为一个确定的量。
熵的性质
• 举例
• 熵质
• 从图中可以看出熵函数的一些性质:
– 若二进制信源输出是确定的(p=1或p=0),则该信源不 提供任何信息; – 当二进制信源符号0和1等概率发生时,信源的熵达到 最大值,等于1比特信息;
• 二元数字可看成是二进制信源的输出
余 映 云南大学 8/38
条件熵
• 条件熵是在联合符号集合(X,Y)上的条件自信息量 的数学期望(联合概率加权统计平均值)。
• 在已知 Y 时,X 的条件熵(平均不确定度)为
• 已知 X 时,Y 的条件熵为
• 条件熵是一个确定的值
余 映 云南大学 9/38
熵的性质
• 熵函数H(X)是p(x1),p(x2),…,p(xn)的n元函数(实 际上,因Σp(xi)=1,独立变量只有n-1个): • (1) 非负性 • (2) 对称性 • (3) 确定性 • (4) 极值性(香农辅助定理) • (5) 最大熵定理(离散信源) • (6) 条件熵不大于无条件熵 • (7) 可加性
信源熵
• 举例:
• 有两个信源,其概率空间分别为 • 本例结论: • Y 的二个输出消息是等可能性的,在没有输出消息以前, 事先猜测哪一个消息出现的不确定性要大;信源Y 比信源 X 的平均不确定性大; • X 的二个输出消息不是等概率的,事先猜测 x1 和 x2 哪一 个出现,虽然具有不确定性,但大致可以猜出 x1 会出现, 因为 x1 出现的概率大,所以信源 X 的不确定性要小; • 信息熵反映的就是信源输出前平均不确定程度的大小。
余 映 云南大学
6/38
信源熵
• 举例:
• 有两个信源,其概率空间分别为 • 信息熵 H(X) = -0.99log0.99-0.01log0.01 = 0.08 比特/符号 H(Y) = -0.5log0.5-0.5log0.5 = 1 比特/符号 可见 H(Y)>H(X)
余 映 云南大学
7/38
– 信源熵表征信源的平均不确定度,平均自信息量是消 除不确定度所需要的信息的量度; – 信源一定,不管它是否输出符号,只要这些符号具有 某种概率分布,就决定了信源的熵值;信息量只有当 信源输出符号并被接收后,才有意义。这就是给予接 收者的信息度量。 – 在离散信源的情况下,信源熵的值是有限的;当信源 输出连续消息时,信息量的值可以是无穷大。
余 映 云南大学
31/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
• H(Y/X) — 噪声熵。表示发出X 后, 对Y 仍然存在的平均不确定度。若 信道中没有噪声,发送端和接收端 必存在确定的对应关系,发出X 后 必能确定对应的Y,而现在不能完全 确定对应的Y,这显然是由信道噪声 所引起的。 • I(Y;X) — 发出X 前、后关于Y 的不 确定度减少的量。
熵的性质
• 举例
• 二进制信源是离散信源的一个特例,该信源符号只有二个: 0和1,设符号输出的概率分别为 p 和 1-p • 信源的概率空间为 • 二进制信源的信息熵为
• 这时信息熵 H(X) 是 p 的函数。p 取值于 [0, 1] 区间,我们 可以画出熵函数 H(p) 的曲线。
余 映 云南大学 16/38
• 离散无记忆信源输出 n 个不同的信息符号,当且仅当各个 符号出现概率相等时(即 p(xi)=1/n ),熵最大。 • H[ p(x1), p(x2), … , p(xn) ] ≤ H(1/n,1/n,…,1/n) = logn • 信源出现任何符号的概率相等时,不确定性最大。
余 映 云南大学
15/38
余 映 云南大学
32/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
• 平均互信息量也可以用接收端(信宿)的熵为参考,且等 于信宿熵减掉一个条件熵,同样表征接收端平均每收到一 个符号所获得的信息量。 • 如果信道上没有噪声,则平均每收到一个符号所获得的信 息量即是信宿熵,即I(X;Y) =H(Y); • 如果信道上存在噪声,则平均每收到一个符号所获得的信 息量,它比起信宿熵小了一个条件熵 H(Y/X),这个条件 熵是由于噪声引起的,故称为噪声熵。
余 映 云南大学
11/38
熵的性质
• (2) 对称性
• 当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时,熵函数的 值不变,即
• 说明:熵只与随机变量的总体结构有关,与信源的总体统 计特性有关。如果某些信源的统计特性相同(含有的符号 数和概率分布相同),那么这些信源的熵就相同。
余 映 云南大学
余 映 云南大学
35/38
平均互信息量的物理含义
• 结论
• I(X;Y) = H(X) – H(X/Y) • I(Y;X) = H(Y) – H(Y/X) • I(X;Y) = H(X) +H(Y) –H(XY) • 以上三种不同的角度说明: – 平均互信息量是一个表征信息流通的量,其物理意义 就是信源端的信息通过信道后传输到信宿端的平均信 息量。 – 从一个事件获取另一个事件的信息需要消除不确定度, 一旦消除了不确定度,就获得了信息。
相关主题