定理4-3叫做数据处理定理，它的含义是通过串联 信道的传输，只会丢失信息，不会增加信息，至 多保持原来的消息量。这是信息不增性原理。
例4-7 两个二元对称信道串联
X P
p(x 1, y 0) p(x 1) p( y 0 | x 1) p p(x 1, y 1) p(x 1) p( y 1| x 1) p
p(Y 0) p(0, 0) p(1, 0) p (1 ) p p p
p(Y 1) p(0,1) p(1,1) p (1 ) p p p
XY
p(x) XY
p( y)
平均互信息具有非负性。
含义：接收到信道的输出符号集Y之后，平 均每个符号获得的关于信道输入符号集X的 信息量，即通过信道传送过去的信息量。
两个定理
I ( X ;Y ) p(xy) log p( y | x) p( y | x) p(x) log p( y | x)
根据输入输出个数
两端信道（单路信道）：电话 多元接入信道：信道的复用 广播信道：广播
根据统计特性
恒参信道：信道的统计特性不随时间发生变化。 随参信道：信道的统计特性随时间发生变化。
根据记忆特性
无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无 关。
有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入 也有关系。
p p
p p
4.3.2 信道疑义度和噪声熵
定义4-1 称输入空间X对输出空间Y的条件
熵
H(X | Y)
p(aibj )logp(ai | bj )
ij
为信道疑义度。
含义：收到全部输出符号Y以后，对输入符 号X尚存在的平均不确定性。
这种不确定性是由信道干扰引起的。
对无噪信道：H(X|Y)=0。
二进制对称信道
简称为BSC（Binary Symmetric Channel）
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
a1=0
1-p
b1=0
p p
a2=1
1-p
b2=1
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：
P
H(X|Y)≤H(X)：收到输出符号Y以后，总能 消除一些对X的不确定性，获得一些信息。
【定义4-1】 称信道的输入空间X对输出空 间Y的条件熵
H (X | Y ) p(xi y j ) log p(xi | y j )
为信道疑义度。XY
信道疑义度的含义是观察到信道的输出之 后仍然保留的关于信道输入的平均不确定 性。
I ( X ;Y ) I (Y; X ) p(xy) log p( y | x) H ( p p) H ( p)
XY
p( y)
固定信道
p固定 从0到1 变化
固定信源
固定 p从0到1 变化
4.4 信道的组合
组合方式
并行：积信道 例如：Internet
串行：级联信道 例如：GSM
积信道
y6
有噪无损信道
x1
x2
y1
x3
x4
y2
x5
y3ห้องสมุดไป่ตู้
x6
无噪有损信道
x1
y1
x2
y2
x3
y3
x4
y4
无噪无损信道
无用信道：输入与输出相互独立，没有任何关系。
4.3 离散无记忆信道 4.3.1 离散信道的数学模型
离散无记忆信道中，当前的输出yj仅与当前 的输入xi有关，与过去的输入无关，即yj出 现的概率仅与xi有关
信道转移矩阵或者信道矩阵
p11
PY |X
p21
M
pr1
p12 L p22 L
p1s
p2s
M M M
pr2 L
prs
例4-3
假设串口通信的误码率为4%，即A发送“0” 而B接收到“1”的概率是0.04，A发送“1” 而B接收到“0”的概率也是0.04，可以得 到该信道的信道转移矩阵
0.96 0.04 PY|X 0.04 0.96
信息论与编码理论 第4章 离散信道
4.1 离散信道的数学模型
由于干扰的存在，信道的输出Y与信道的输 入X不完全相同，用条件概率p(y|x)描述。
而输入和输出又有各自的统计特性，分别 用 X 和 Y 表示。
P
P
4.2 信道的分类
根据输入输出事件的时间特性
离散信道：GSM 连续信道：有线电视、广播 半连续信道
XY
p( y) XY
p(y | x) p(x)
信道
X
信源
定理4-1 对于固定的信道，平均 互信息I(X;Y)是信源概率分布p(x) I(X;Y) 的上凸函数。
固定信道：信道传递概率p(y|x)不
变
p(x)
定理4-2 对于固定的信源分布， 平均互信息I(X;Y)是信道传递概 I(X;Y) 率p(y|x)的下凸函数。
这种对X尚存在的不确定性是由于传输过程 中的信道干扰引起的。
4.3.3 平均互信息
定义4-3 原始信源熵与信道疑义度之差称为 平均互信息。
I(X;Y)=H(X)-H(X|Y)
I (X ;Y ) p(xy) log p(x | y) p(xy) log p( y | x) I (Y; X )
固定信源：信源概率分布p(x)不变
p(y|x)
平均互信息的例子
例4-6 信源： 则互信息量：
X P
信0 道1：
1
p p P
p p
p(x 0, y 0) p(x 0) p( y 0 | x 0) p p(x 0, y 1) p(x 0) p( y 1| x 0) p
重点介绍级联信道（串联信道）
级联信道
X
信道I
Y
信道II Z
p(y|x)
p(z|xy)
假设串联的两个信道为信道I和信道II，信道I的传 递概率为p(y|x)，信道II的传递概率为p(z|xy)。
定理4-3 若随机变量X,Y,Z构成一个马尔可夫链 （p(z|xy)=p(z|y)），则有
I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)
几种特殊信道
无噪无损信道：输入集和输出集之间存在一一对应的关系。 有噪无损信道：有噪无损信道的一个输入符号可能对应多
个输入符号，而一个输出符号只对应一个输入符号。
无噪有损信道：无噪有损信道的一个输入符号只对应一个 输入符号，而一个输出符号可能对应多个输入符号。
y1
x1
y2
y3
x2
y4
y5
x3