【证明】见板书。
I ( xi ; y j ) log p( xi | y j ) p( xi )
p( y j | xi ) p( y j )
I ( y j ; xi ) log
2.3.2 互信息量的性质
1. 对称性——互易性
后验概率 互信息＝log 先验概率
假如先验概率确定了，其后验 概率就决定了信息的流通。
到关于xi的任何信息，反之亦然。
2.3.2 互信息量的性质
3. 互信息量可为正值或负值。
后验概率 互信息＝log 先验概率
2.3.2 互信息量的性质
① 当后验概率大于先验概率时，互 信息量为正值。 ② 当后验概率小于先验概率时，互 信息量为负值。
③ 后验概率与先验概率相等时，互 信息量为0，这就是两个随机事 件相互独立的情况。
I ( xi ; y j ) I ( xi ) 且 I ( xi ; y j ) I ( y j )
【证明】见板书。
2.3.2 互信息量的性质
【说明】
① 互信息量是描述信息流通特性的 物理量，流通量的数值当然不能 大于被流通量的数值。
② 可见，某一事件的自信息量是任 何其他事件所能提供的关于该事 件的最大信息量。
四、互信息量的物理意义
可见，互信息量实际上是信道传 递的信息量。因此，互信息量的大小 反映了一个信道的传信速率。互信息 量的引入，使信息的传递得到了定量 的表示，是信息论发展的一个重要里 程碑 。
2.3.2 互信息量的性质
1. 对称性——互易性
I ( xi ; y j ) I ( y j ; xi )
2.3.2 互信息量的性质
【说明】
① 如果互信息量I(xi;yj)取负值时，说 明信息在收到消息Y后，不但没有 使X的不确定减少，反而使X的不 确定增加，所以获得的信息量为 负值。 ② 这是由于通信受到干扰（噪声） 或发生错误所造成的。
2.3.2 互信息量的性质
4. 任何两个事件之间的互信息 量不可能大于其中任一事件 的自信息量。
信息论与编码技术

2.3 互信息量和条件互信息量
2.3.1 互信息量
一、互信息量的定义
【思考】当接收端收到某个消息后， 能确定它是由发送端发出的某个消 息得到的吗？
1. 后验概率的引入
由于实际通信中存在干扰，假设接 收端收到消息为yj， yj可能与xi相同，也 可能不同，则需要利用后验概率p(xi|yj) 反映接收端收到消息yj而发送端发出的 是xi的概率。 接收端收到yj后， 发送端发出的是 否为xi尚存在的不确定性应为：
四、互信息量的物理意义
如果过把X和Y看作是信源的输出和 信宿的输入，即把xi看成是信源发出的符 号消息，yj看成是经过信道传输后信宿收 到的符号消息，那么，由于信宿已经收到 符号yj，如果yj与xi相关，则xi的条件自信 息量I(xi|yj)必然要比它的自信息量I(xi)有 所下降，这一下降的信息量就是消息符号 从信源传到信宿的信息量。
【通信理论中，常用的仍为以2为底 的对数。】
三、推论
1. 【推论1】
I ( xi ; y j ) log p( xi | y j ) p( xi )
log p( xi ) log p( xi | y j ) I ( xi ) I ( xi | y j )
互信息量可以表示为事件xi本身的不 确定性I(xi)减去已知事件yj后对xi仍然存 在的不确定性I(xi|yj)。
2. 互信息量
【定义】对两个离散随机时间集X和 Y，事件yj的出现给出关于xi的信息 量，即为互信息量。
I ( xi ; y j ) log p( xi | y j ) p( xi )
【说明】互信息量I(xi;yj)是已知事件 yj后所消除的关于事件xi的不确定性
二、互信息量的单位
1. 与自信息量单位完全一致。 2. 取决于对数的底数。
2.3.3 条件互信息量(自学)
1. 【定义】联合集XYZ中，在给 定zk的条件下，xi与yj之间的互 信息量定义为条件互信息量。
I ( xi ; y j | zk ) log p( xi | y j zk ) p( xi | zk )
2.3.3 条件互信息量(自学)
2. 【推论1】
I ( xi ; y j z k ) I ( xi ; z k ) I ( xi ; y j | z k )
三、推论
2. 【推论2】
I ( xi ; y j ) I ( xi ) I ( y j ) I ( xi y j )
互信息量等于自信息量减去联 合自信息量。
三、推论
3. 【推论3】如果信道没有干扰，信 道的统计特性使xi以概率“1”传送 到接收端。这时，接收方接到消息 尚存在的不确定性就等于零，即 p(xi|yj)=1 - log(p(xi|yj)=0 也就是说，不确定性全部消除。由 此得互信息量：I(xi;yj)= I(xi)
I(xi | y j )= log p( xi | y j )
2. 后验概率的引入
在接收端收到yj后，已经消除的 不确定性为先验的不确定性减去尚存 在的不确定性。接收端获得的信息量 为：
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) ( log p( xi | y j )) log p( xi | y j ) log p( xi )
【证明】I ( x ; y z
i j k
) log
p( xi | y j zk ) p( xi )
将上式分子分母同乘以p(xi|zk)，得
p( xi | y j z k ) p( xi | z k ) I ( xi ; y j z k ) log log p( xi ) p ( xi | z k ) I ( xi ; z k ) I ( xi ; y j | z k )
2.3.2 互信息量的性质
2. 当X和Y统计独立时，互信息 量为0 。
【证明】
(方法1) 利用定义，见课本P12。
(方法2) 利用推论2，见板书。
I ( xi ; y j ) I ( xi ) I ( y j ) I ( xi y j )
2.3.2 互信息量的性质
【说明】该性质表明xi和yj之间 不存在统计约束程度，从yj得不