给定信源概率分布 P( x)
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)




ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
干扰
噪声源
信宿
在未收到输出之前，关于X的不确定性的量度
3.3 平均互信息的特性
—— 非负性、极值性、交互性
非负性
H(XY)
I(X;Y)0 极值性
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
I ( X ;Y ) m H ( X i )H n ( ,Y )[]
交互性 I(X ;Y)I(Y ;X )
3.3 平均互信息的特性 —— 例 3.4 [P97]
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (XY )H (YX )0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
P ( x )
P ( x )
P ( x )
P ( x )
3.4.1 离散无噪信道的信道容量 —— 无噪有损信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H ( Y ) H (X )
C m { I ( X a ;Y )x } m { H ( Y a ) } x lo s g
输出端有信号反馈到输入端 例：手机通信
3.1.1 信道的分类 —— 按参数与时间的关系分
固定参数信道
参数（的统计特性）不随时间变化 例：光纤通信
时变参数信道
参数（的统计特性）随时间变化 例：短波（天波）通信
3.1.1 信道的分类 —— 按信号的特点分
离散信道
输入输出信号均为离散 例：数字电路
连续信道
输入输出信号均为连续 例：电视
半离散或半连续信道
输入输信号中一个为离散、 另一个为连续
例：A/D、D/A
波形信道
输入输出信号均为模拟信 号
例：无线电台广播
3.1.2 离散信道的数学模型 —— 一般模型
输入信号
X(X1,,Xi,,XN)
Xi :{a1,,ar} 输出信号
3.4 信道容量及其一般计算方法 —— 信道容量
信道传输率
RI(X;Y) (bit/符号)
Rt
1 I (X;Y) t
(bit/秒)
信道容量
其中t为平均传输 一符号所需时间
Cm{ aI(xX;Y)} (bit/符号) P(x)
Ct 1tm P(x)a{xI(X;Y)} (bit/秒)
H (X) P(x)loP g (x)
X
3.2.1 信道疑义度 —— 信道疑义度
信源
X
信道
Y
干扰
噪声源
信宿
在收到输出Y之后，关于X的不确定性的量度
H (XY) P (x)y loP (g xy)
X ,Y
3.2.1 信道疑义度 —— 信道疑义度的性质
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
Y
P(y)
P ( xy )
X
P(x)P(y x)
X
H(Y X)
P(xy)logP(y x)
XY
P(x)P(y | x)logP(y x)
XY
3.3 平均互信息的特性 —— 例 3.4 [P97]
解： I(X ;Y ) H (Y ) H (Y X )
H (Y )
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类
3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
3.1.1 信道的分类 —— 按用户数目分
P ( y ) log P ( y )
Y
H ( p p )
H (Y X ) H (p)
P(y0)pp
P(y1)1P(y0)
3.3 平均互信息的特性 —— 凸状性
给定信道传递概率 P( y x)
信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大
信道 相 C I(X ;Y 对 ) 1 I( 冗 X ;Y ) 余
3.1.2 离散信道的数学模型 —— 有干扰无记忆信道
输入、输出信号
是概率关系 输出符号只与对应时刻的输入符号相关
条件概率 P(yx)P(y1y2yN x1x2xN）
N
P(yi xi) i1
3.1.2 离散信道的数学模型 —— 有干扰有记忆信道
r、s不一定相等
Y(Y1,,Yi,,YN)
Yi :{b1,,bs} 条件概率
P ( y x ) P ( y 1 y 2 y N x 1 x 2 x N ）
3.1.2 离散信道的数学模型 ——无干扰（无噪）信道
输入、输出信号
是确定关系
y f(x)
条件概率
P(yx)10
…
3.5~3.7 其他离散信道 —— 数据处理定理
X
Y
Z
W
信道I
信道II
信道III
…
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ; W )
任何信息传输系统，最后获得的信息至多是 信源所提供的信息
3.8 信源与信道的匹配 —— 信道冗余度
信道 C I( 冗 X ;Y ) 余度
1 b2
(X/Y) 0 1
传递矩阵： 0
1
1 p

p
p 1 p
3.1.3 单符号离散信道的数学模型 —— 二元删除信道，BEC
X
Y
p
0
0
1 p
2
1 q
1
q
1
02 1
传递矩阵： 0
1
p

0
1 p 1 q
0 q
3.1.3 单符号离散信道的数学模型 —— 一般模型
无干扰信道
H(XY)H(X)
H(XY)0
3.2.2 平均互信息 —— 平均互信息
信源
X
信道
Y
干扰
噪声源
信宿
一般信道
平均互信息
H(XY)H(X) I(X ;Y ) H (X ) H (X Y )
3.2.2 平均互信息 —— 平均互信息
P(xy)
I(X;Y) P(x)ylog
X,Y
P(x)
H(X) H(X Y)
H(X) H(Y) H(XY)
H(Y) H(Y X)
H(XY)
H(X Y) I(X;Y) H(Y X)
H(X)
H (Y )
3.2.2 平均互信息 —— 平均互信息
I(X;Y)H(X)H(XY) H(X)H(Y)H(XY) H(Y)H(YX)
H(X)
H(X Y)：损失熵
信道
I(X;Y)
H (Y )
H(Y X) ：噪声熵
3.2.2 平均互信息 —— 平均互信息
无噪一一对应信道
P(yx)10
yf(x) yf(x)
X和Y完全统计独立
P(yx)P(y)
I(X;Y) H(X) H(Y)
H(YX)0 H(XY)0
H (X ) H (X Y)
3.4 信道容量及其一般计算方法 —— 二元对称信道(例 3.5 [P99])
X
Y
0
1 p
0
p
p
1p p
P
p
1 p
1
1 p
1
Cma{xI(X;Y)}ma{xH(Y)H(YX)}