2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量的三种不同表达式 观察者站在通信系统总体立场上
▼ 通信后：输入随机变量 X 和输出随机变量 Y 之间由信道的统计
特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度：
(1) 互信息量和条件互信息量
① 互信息量 互信息量定义： 最简单的通信系统模型： X—信源发出的离散消息集合 Y—信宿收到的离散消息集合 信源通过有干扰的信道发出消息传递给信宿； 信宿事先不知道某一时刻发出的是哪一个消息，所以每 个消息是随机事件的一个结果。
信源X 有扰信道 信宿Y
干扰源 图2.1.3 简单通信系统模型
▼ 自信息量：对 yj 一无所知的情况下 xi 存在的不确定度； ▼ 条件自信息量：已知 yj 的条件下 xi 仍然存在的不确定度； ▼ 互信息量：两个不确定度之差是不确定度被消除的部分，即等
于自信息量减去条件自信息量。
2010-3-11
The Department of Communication Engineering, NCUT
▼ 通信后的互信息量，等于前后不确定度的差：
I ( x i ; y j ) = log 2
1 1 − log 2 p( x i ) p( y j ) p( x i y j )
= I ' ( x i y j ) − I '' ( x i y j ) = I ( x i ) + I ( y j ) − I ( x i y j )
14
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量的三种不同表达式 观察者站在输入端
I ( y j ; x i ) = log 2 1 1 − log 2 = I ( y j ) − I ( y j / xi ) p( y j ) p( y j / x i )
▼ 通信前：输入随机变量 X 和输出随机变量 Y 之间没有任何关联
关系，即 X，Y 统计独立；
▼ p(xi yj)=p(xi) y j ) = log 2
2010-3-11
1 p( x i ) p( y j )
16
The Department of Communication Engineering, NCUT
▼ 两个随机事件的可能结果 xi 和 yj 之间的统计约束程度； ▼ 从 yj 得到的关于 xi 的信息量 I(xi;yj) 与从 xi 得到的关于 yj 的信息
量 I(yj; xi) 是一样的，只是观察的角度不同而已。
2010-3-11
The Department of Communication Engineering, NCUT
13
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量的三种不同表达式 观察者站在输出端
1 1 I ( x i ; y j ) = log 2 − log 2 = I ( xi ) − I ( xi / y j ) p( x i ) p( x i / y j )
I ( x i ; y j ) = log 2 = log 2 p( x i / y i ) p( x i ) ( i = 1,2, … , n; j = 1,2, … , m )
1 1 − log 2 p( x i ) p( x i / y j )
= I ( xi ) − I ( xi / y j )
I ( xi y j ) = I ( xi ) + I ( y j / xi )
2010-3-11
The Department of Communication Engineering, NCUT
10
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 举例 某地二月份天气构成的信源为：
2
第二章 信源及其信息量
本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。
2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结
2010-3-11
The Department of Communication Engineering, NCUT
▼ 这三种表达式实际上是等效的，在实际应用中可根据具体情况
选用一种较为方便的表达式。
2010-3-11
返回目录
18
The Department of Communication Engineering, NCUT
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
I '' ( x i y j ) = log 2
2010-3-11
1 p( x i y j )
17
The Department of Communication Engineering, NCUT
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量的三种不同表达式 观察者站在通信系统总体立场上
2010-3-11
The Department of Communication Engineering, NCUT
9
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量定义： 互信息量： yj 对 xi 的互信息量定义为后验概率与先验 概率比值的对数。
2010-3-11
The Department of Communication Engineering, NCUT
8
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量定义： 先验概率：信源发出消息 xi 的概率 p(xi )。 后验概率：信宿收到 yj 后推测信源发出 xi 的概率： p(xi / yj )。
2010-3-11
The Department of Communication Engineering, NCUT
11
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 举例
计算 y1 与各种天气之间的互信息量 对天气 x1，不必再考虑 对天气 x2， I ( x 2 ; y1 ) = log 2 p( x 2 / y1 ) = log 2 1 / 2 = 1(比特 ) p( x 2 ) 1/ 4 对天气 x3, I ( x 3 ; y1 ) = log 2 对天气 x4 ， I ( x4 ; y1 ) = log 2
观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确 定度的差。
2010-3-11
The Department of Communication Engineering, NCUT
15
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量的三种不同表达式 观察者站在通信系统总体立场上
② 互信息的性质 对称性 I(xi ; yj) = I(yj ; xi) 推导过程：
I ( x i ; y j ) = log 2 = log 2 p( x i / y j ) p( x i ) = log 2 p( x i / y j ) p( y j ) p ( x i ) p( y j ) p( y j / x i ) p( y j ) = I ( y j ; xi )
2.1 单 符 号 离 散 信 源
将信道的发送和接收端分别看成是两个“信源”，则两者 之间的统计依赖关系（信道输入和输出之间）描述了信道 的特性。
(1) 互信息量和条件互信息量 (2) 平均互信息量的定义 (3) 平均互信息量的物理含义 (4) 平均互信息量的性质
2010-3-11
The Department of Communication Engineering, NCUT
⎡ Y ⎤ ⎧ y1 , ⎢ P (Y )⎥ = ⎨ p( y ), 1 ⎣ ⎦ ⎩ 0 ≤ p( y j ) ≤ 1,
∑ p( x ) = 1
i =1 i
n
ym ⎫ ⎬ p( y2 ), …， p( y j ), …， p( ym )⎭ y2 ,
m
…，
yj,
…，
∑ p( y ) = 1
j =1 j
p( x i y j ) / p ( x i ) p( y j )
= log 2
2010-3-11
The Department of Communication Engineering, NCUT
19
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
② 互信息的性质 对称性 互信息量的对称性表明：
⎡ X ⎤ ⎧x1(晴)， x2 (阴)， x3 (雨)， x4 (雪)⎫ ⎬ ⎢P( X )⎥ = ⎨ 1， 1 1 1 ， ， ⎦ ⎩ 2 ⎣ 4 8 8 ⎭
收到消息 y1：“今天不是晴天” 收到 y1 后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4
20
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源