•信宿接受消息Y前后关于X的平均不确定性消除 的程度 •H(X)经信道损失了H(X/Y)后信宿获得的净信息量 •收到消息集合Y后获得关于信源X的平均信息量 •信宿每收到一个消息所获得的平均信息量
2、I (Y ; X )
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
p( x2
/
y2 )
p(x2 y2 ) /
p( y2 )
3/8 5 / 12
9 10
4）计算互信息量：I
(
xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
I (x1;
y1 )
lb
p(x1 / y1) p( x1 )
lb
5 / 14 1/ 4
lb 10 7
0.515比特/消息
I (x1;
y2 )
lb
m j 1
n i 1
p( xi y j ) lb
p( xi ห้องสมุดไป่ตู้ y j ) p( xi )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
1 p( xi / y j )
H(X) H(X /Y)
其中：H ( X
/Y)
m j 1
n i 1
m j 1
n i 1
p( xi y j ) lb
1 p( y j )
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
H (Y ) H (Y / X )
其中：H (Y
/X)
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
表示信道输入信号由于信道中的噪声干扰而在信
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H ( X /Y ) 0.811 0.744 0.067比特/消息
2）噪声熵：
mn
H (Y / X )
p(xi y j ) lb p( y j / xi ) 0.913比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H (Y ) H (Y / X ) 0.980 0.913 0.067比特/消息
0.263比特/消息
5）计算平均互信息量：I ( X ;Y ) p(xi y j )I (xi; y j )
ji
I ( X ;Y ) p( x1 y1)I ( x1; y1) p( x1 y2 )I ( x1; y2 )
p( x2 y1)I ( x2; y1) p( x2 y2 )I ( x2; y2 )
1 p( y j )
m j 1
n i 1
p(xi y j ) lb
1 p( xi y j )
H ( X ) H (Y ) H ( XY )
其中：H ( XY )
m j 1
n i 1
p( xi y j ) lb
1 p( xi y j )
为联合熵，表示信源信宿双方通信后整个 系统仍存在的平均不确定度
p(x1)=1/4 x1=1 X空间
5/6 1/2
1/6
y1=1 p(y1) Y空间
p(x2)=3/4 x2=0
1/2
y2=0 p(y2)
分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi )
求平均互信息量：I ( X; Y )
mn
I ( X ;Y ) E[I (xi; y j )]
5 0.515 1 (-1.322) 3 (0.222) 3 0.263
24
24
8
8
0.067比特/消息
因此，信宿收到一个消息后，获得的平均信息量
是0.067比特/消息
思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？
二、平均互信息量的物理意义
1、I ( X ;Y )
•信源发出消息X前后关于信宿Y的平均不确定性的 消除程度
3、I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
3）联合熵：
mn
H ( XY )
p( xi y j ) lb p( xi y j ) 1.724比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.811 0.980 1.724 0.067比特/消息
三、平均互信息量的性质
1、对称性
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
计算步骤：
1）计算联合概率：p(xi y j ) p(xi ) p( y j / xi )
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
计算过程：
1）收到yj后，从yj中获得关于xi的非平均信息量
I
( xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
2）收到yj后，从yj中获得关于集合X的平均信息量
I ( X ;
y j
)
EX [I ( xi ; y j )]
n i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
i
3）计算后验概率： p(xi / y j ) p(xi y j ) / p( y j )
4）计算互信息量：I (xi ; 5）计算平均互信息量：
y
j
)
lb
p(xi / y p( xi )
j
)
I ( X ;Y )
p( xi y j )I (xi ; y j )
ji
解：根据题意，信源概率分布：
3）收到集合Y后，从Y中获得关于集合X的平均信 息量
I ( X ;Y )
EY [I ( X ; y j )]
m j 1
n
p( y j )
i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
平均互信息量
I ( X ;Y ) I (Y ; X ) H ( X ) H (Y ) H ( XY )
•信源X的先验平均不确定度+信宿Y的先验平均不
确定度–信源、信宿双方通信后整个系统尚存的后
验平均不确定度
•通信前后关于整个系统平均不确定性消除的程度
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
j 1
7 lb 7 5 lb 5 0.980比特/消息 12 12 12 12
平均互信息量：
mn
I ( X ;Y )
p( xi y j )I ( xi ; y j ) 0.067比特/消息
j1 i1
1）损失熵：
mn
H ( X /Y )
p( xi y j ) lb p( xi / y j ) 0.744比特/消息
p( xi y j ) lb
1 p( xi / y j )
称为信道疑义度/可疑度（损失熵）
•信宿收到信源发出的消息Y后，对信源X仍存在 的平均不确定度
•通信过程中信息在信道中的损失量
Y对X的平均互信息量
I ( X ;Y ) H ( X ) H ( X /Y )
•信源X的先验平均不确定度–观察到Y后对信源X 尚存的后验平均不确定度
宿端表现的散步范围，称为散布度（噪声熵）
•由于信道噪声的干扰，信源发出消息后无法判断 信宿是否正确收到消息
•信源发出消息X后，对信宿Y仍存在的平均不确 定度
X对Y的平均互信息量
I (Y ; X ) H (Y ) H (Y / X )
•信宿Y的先验平均不确定度–信源发出消息X后对 信宿Y尚存的后验平均不确定度
y
j
) lb
p( xi y j ) p(xi ) p( y
j
)
I (Y ; X )
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p( xi
/
yj)
p( xi y j ) p( y j )
mn j1 i1
p( xi
p(x1)=1/4 x1=1 X空间