– 干扰和噪声“污染”被传输的信息 – 到达接收端的平均信息量比信源熵少了一些 – 少掉的部分就是条件熵 H(X/Y)
• 条件熵H(X/Y)表征了对接收的每一个符号的正确性所产生怀疑的程度， 故称为疑义度。
余 映 云南大学
30/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
2.2 信源熵和平均互信息量
余 映 云南大学
1/52
2.2.1 信源熵（平均自信息量）
余 映 云南大学
2/52
信源熵
• 自信息是一个随机变量：指某一信源发出某一消息所含有 的信息量。发出的消息不同，含有的信息量也就不同。 • 信源熵（信息熵）：平均自信息量，自信息量的数学期望。
• 单位：取决于对数选取的底。一般选用以2为底，其单位 为比特/符号。 • 意义：信息熵从整个信源的统计特性来考虑，是从平均意 义上来表征信源的总体不确定度。信源给定，概率空间就 给定，信源熵就是一个确定值，不同的信源因概率空间不 同，其熵值也不同。
余 映 云南大学 13/38
熵的性质
• (4) 香农辅助定理/极值性
• 对任意两个消息数相同的信源 ，有
• 任一概率分布 p(xi)，对其它概率分布 p(yi) 的自信息取数 学期望时，必不小于 p(xi) 本身的熵。 • 用途：主要用于数学证明。
余 映 云南大学 14/38
熵的性质
• (5) (离散信源)最大熵定理
12/38
熵的性质
• (3) 确定性
H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0, …,0)=0 • 在概率矢量 P(X)=[p(x1),p(x2),…,p(xn)] 中 • 当 p(xi)=1 时，-p(xi)logp(xi)=0； • 其余变量 p(xj) = 0 (j≠i)， • 只要信源符号表中有一个符号出现概率为1，信源熵就等 于0。在概率空间中，如果有两个基本事实，其中一个是 必然事件，另一个则是不可能事件，因此没有不确定性， 熵必为0。当然可以类推到 n 个基本事件构成的概率空间。
余 映 云南大学
21/38
熵的性质
• 证明：
余 映 云南大学
22/38
2.2.2 平均互信息量
余 映 云南大学
23/38
平均互信息量
• 自信息量 → 熵 • 互信息量 → 平均互信息量 • • 定义：两个离散随机事件集合 X 和 Y ，若其任意 两事件间的互信息量为 I(xi；yj)，则其联合概率 加权的统计平均值，称为两集合的平均互信息量， 用I(X；Y)表示。
• ① 观察者站在输出端 • I(X;Y) = H(X) – H(X/Y)
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
余 映 云南大学 10/38
熵的性质
• (1) 非负性 H(X) ≥ 0
• 因为随机变量 X 所有取值的概率分布满足 0 ≤ p(xi) ≤ 1； • 取对数的底大于 1 时 -log p(xi) ≥ 0，而 -p(xi)log p(xi) ≥ 0， 所以熵 H(X) ≥ 0； • 只有当随机变量是一确知量时，熵 H(X) = 0。
余 映 云南大学
5/38
信源熵的三种物理含义
• 信源熵是从平均意义上表征信源总体特性的量。 具有以下三种物理含义 – ① 表示信源输出一个消息/符号所提供的平均 信息量； – ② 表示信源输出前，信源的平均不确定性； – ③ 信源熵 H(X) 可用来反映了变量 X 的随机性。
• 如，若变量 X 取 x1 和 x2 是等概率的，则它的随机 性大。若变量 X 取 x1 的概率比取 x2 的概率大很多， 则它的随机性就小。
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
熵的性质
• 举例
• 熵质
• 从图中可以看出熵函数的一些性质：
– 若二进制信源输出是确定的(p=1或p=0)，则该信源不 提供任何信息； – 当二进制信源符号0和1等概率发生时，信源的熵达到 最大值，等于1比特信息；
• 二元数字可看成是二进制信源的输出
余 映 云南大学 8/38
条件熵
• 条件熵是在联合符号集合(X,Y)上的条件自信息量 的数学期望（联合概率加权统计平均值）。
• 在已知 Y 时，X 的条件熵（平均不确定度）为
• 已知 X 时，Y 的条件熵为
• 条件熵是一个确定的值
余 映 云南大学 9/38
熵的性质
• 熵函数H(X)是p(x1),p(x2),…,p(xn)的n元函数（实 际上，因Σp(xi)=1，独立变量只有n-1个）: • (1) 非负性 • (2) 对称性 • (3) 确定性 • (4) 极值性(香农辅助定理) • (5) 最大熵定理(离散信源) • (6) 条件熵不大于无条件熵 • (7) 可加性
信源熵
• 举例：
• 有两个信源，其概率空间分别为 • 本例结论： • Y 的二个输出消息是等可能性的，在没有输出消息以前， 事先猜测哪一个消息出现的不确定性要大；信源Y 比信源 X 的平均不确定性大； • X 的二个输出消息不是等概率的，事先猜测 x1 和 x2 哪一 个出现，虽然具有不确定性，但大致可以猜出 x1 会出现， 因为 x1 出现的概率大，所以信源 X 的不确定性要小； • 信息熵反映的就是信源输出前平均不确定程度的大小。
余 映 云南大学
6/38
信源熵
• 举例：
• 有两个信源，其概率空间分别为 • 信息熵 H(X) = -0.99log0.99-0.01log0.01 = 0.08 比特/符号 H(Y) = -0.5log0.5-0.5log0.5 = 1 比特/符号 可见 H(Y)>H(X)
余 映 云南大学
7/38
– 信源熵表征信源的平均不确定度，平均自信息量是消 除不确定度所需要的信息的量度； – 信源一定，不管它是否输出符号，只要这些符号具有 某种概率分布，就决定了信源的熵值；信息量只有当 信源输出符号并被接收后，才有意义。这就是给予接 收者的信息度量。 – 在离散信源的情况下，信源熵的值是有限的；当信源 输出连续消息时，信息量的值可以是无穷大。
余 映 云南大学
31/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
• H(Y/X) — 噪声熵。表示发出X 后， 对Y 仍然存在的平均不确定度。若 信道中没有噪声，发送端和接收端 必存在确定的对应关系，发出X 后 必能确定对应的Y，而现在不能完全 确定对应的Y，这显然是由信道噪声 所引起的。 • I(Y;X) — 发出X 前、后关于Y 的不 确定度减少的量。
熵的性质
• 举例
• 二进制信源是离散信源的一个特例，该信源符号只有二个： 0和1，设符号输出的概率分别为 p 和 1-p • 信源的概率空间为 • 二进制信源的信息熵为
• 这时信息熵 H(X) 是 p 的函数。p 取值于 [0, 1] 区间，我们 可以画出熵函数 H(p) 的曲线。
余 映 云南大学 16/38
• 离散无记忆信源输出 n 个不同的信息符号，当且仅当各个 符号出现概率相等时(即 p(xi)=1/n )，熵最大。 • H[ p(x1), p(x2), … , p(xn) ] ≤ H(1/n,1/n,…,1/n) = logn • 信源出现任何符号的概率相等时，不确定性最大。
余 映 云南大学
15/38
余 映 云南大学
32/38
平均互信息量的物理含义
• ② 观察者站在输入端 • I(Y;X) = H(Y) – H(Y/X)
• 平均互信息量也可以用接收端（信宿）的熵为参考，且等 于信宿熵减掉一个条件熵，同样表征接收端平均每收到一 个符号所获得的信息量。 • 如果信道上没有噪声，则平均每收到一个符号所获得的信 息量即是信宿熵，即I(X;Y) =H(Y)； • 如果信道上存在噪声，则平均每收到一个符号所获得的信 息量，它比起信宿熵小了一个条件熵 H(Y/X)，这个条件 熵是由于噪声引起的，故称为噪声熵。
余 映 云南大学
11/38
熵的性质
• (2) 对称性
• 当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的 值不变，即
• 说明：熵只与随机变量的总体结构有关，与信源的总体统 计特性有关。如果某些信源的统计特性相同（含有的符号 数和概率分布相同），那么这些信源的熵就相同。
余 映 云南大学
余 映 云南大学
35/38
平均互信息量的物理含义
• 结论
• I(X;Y) = H(X) – H(X/Y) • I(Y;X) = H(Y) – H(Y/X) • I(X;Y) = H(X) +H(Y) –H(XY) • 以上三种不同的角度说明： – 平均互信息量是一个表征信息流通的量，其物理意义 就是信源端的信息通过信道后传输到信宿端的平均信 息量。 – 从一个事件获取另一个事件的信息需要消除不确定度， 一旦消除了不确定度，就获得了信息。