当条件概率分布给定时，平均互信息量是输入概 率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量 是条件概率分布的下凸函数
3.4 信道容量
信息传输率就是互信息
信道中平均每个符号所能传送的信息量，即 信道的信息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
p(xy)logp(px()xp(y)y) p(xy)logpp(y(y/)x)
x,y
x,y
I(X ;Y )I(Y ;X )H (X )H (X/Y )
H (Y )H (Y/X )H (X )H (Y )H (X)Y
其中
H(XY ) p(xy)log1
x,y
p(xy)
损失熵和噪声熵
信道疑义度（损失熵）
P111//63
1/3 1/3
1/6 1/6
1/6 1/3
P2 00..72
0.1 0.1
0.2 0.7
对于准对称DMC信道，当输入分布为等概
分布时，互信息达到最大值，即为信道容量
准对称离散信道及其容量
Eg. 求信道容量
P00..53
0.3 0.5
0.2 0.2
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1 －，信道的输出符号有三个，用b1、b2、b3表示
j1
对称离散信道及其容量
1 1 1 1
Eg. 求信道容量
P
3 1
3 1
6 1
6 1
6 6 3 3
Clo24 g H (1 3,1 3,1 6,1 6)0.08 b/2 i符 t 号
强对称信道(均匀信道)
1
P
n
1
n 1 1
n
1
n 1
n 1
n 1
1
C lon gH (1,
3.1 信道的分类及其描述
信道分类
– 用户数量：单用户、多用户 – 有记忆/无记忆信道 – 信道参数与时间的关系：固参、时变参 – 有噪/无声种类： 随机差错、突发差错 – 输入输出特点：离散、连续、半离散半连续、
波形信道
3.2 单符号离散信道
信道参数
， 输入信号 X ( X 1 ,X 2 , X i , ) X i, a 1 , , a n
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
多个输入变成一个输出( I(X;Y)=H(Y)<H(X) )
C＝maxI(X;Y)＝maxH(Y) = log m
一个输入对应多个输出( I(X;Y)=H(X)<H(Y) )
3.C）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I(X;Y) p(xy)logpp(x(x/)y)
x,y
,, )
n1 n1
对称离散信道及其容量
二进制对称信道容量 C＝1+plog p +(1-p)log (1-p)
1
0 .8
0 .6
0 .4
0 .2
0
0
0 .2
0 .4
0 .6
0 .8
1
准对称离散信道及其容量
准对称DMC信道: 转移概率矩阵P的每一行
都包含同样的元素而各列的元素可以不同， 则称该信道是准对称DMC信道
• 前向概率 • 后向概率 • 先验概率 • 后验概率
p(bj / ai ) p(ai / bj )
p(ai ) p(ai / bj )
3.2 单符号离散信道
• 信道种类
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
如果信道转移概率矩阵的每一行/每一列只 包含一个1，其余都为0，则信道是无干扰 离散息道，否则是有干扰信道
比特/秒
信道容量: I(X;Y)是p(x)、p(y/x)的函数，
并且是p(x)的凹函数。对固定的信道，存在
某个分布p(x)，使得I(X;Y)达到最大值，称
为信道容量 CmaIx(X;Y)
p(ai)
几个特殊信道的信道容量
无干扰离散信道的信道容量
aX
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
对称离散信道及其容量
• 两个性质：
• H(Y/X)与信道输入符号的分布无关
H(Y/X)p(ai)p(bj/ai)lopg(bj/ai)
i
j
p(bj/ai)lopg(bj/ai)H(Y/xi)
j
• 当输入等概分布时，输出符号也等概分布
p p p(((b b b1 3 2))) 0 0 0...5 2 3 0 0 0...3 2 5(((11 1 ))) 00 0...35 2 00..22
1
p (bj)
i
p (a i)p (bj/a i)ni
p (bj/a i)
对称离散信道及其容量
对称信道的信道容量容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
m
Clom gH (Y|ai)lom g pijlopg ij
输出信号 Y ( Y 1 ,Y 2 , Y j, )X j , b 1 , ,b m
条件概率 p(Y/X)来描述信道输入输出信号之间统 计的依赖关系。P称为转移概率矩阵
a1 a2
b1 b2
p11
P
p21
p12 p22
p1m
p2
m
an
bm
pn1
pn2
pnm
3.2 单符号离散信道
H (X /Y ) H (X ) I(X ;Y )
共熵
H ( X ) Y I ( X ;Y ) H ( X ) H ( Y )
噪声熵
H(Y / X) H(Y)I(X;Y)
平均互信息的特性
非负性：当且仅当X和Y统计独立时，取值0
对称性 I(X ;Y )I(Y ;X )
极值性
I ( X ; Y ) H ( X )I ( ; Y ; X ) H ( Y ) 凸性函数
C＝maxI(X;Y)＝maxH(X) = log n
对称离散信道及其容量
对称的DMC信道:如果转移概率矩阵P的每一行 都是第一行的置换(包含同样元素)，并且每一列 都是第一列的置换(包含同样元素)，称该信道为 对称的DMC信道
对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3