4.3.3信道的平均互信息及其含义 定义4-3信源熵与信道疑义度之差称为平均互 信息 I（X；Y）= H(X) - H(X/Y)
H(X)是信道输入X本身具有的信息量， H(X/Y) 是观察到信道输出之后仍然保留 的关于X的信息量。因此I（X；Y）的含义
是接收到信道的输出符号集Y后，平均每个 符号获得的关于X的信息量，即通过信道传 送过去的信息量。
j=1
共有r*s个P（yj/xi）组成一个矩阵，称为信道转移矩阵
p11 p12 p 21 p 22 PY/X = ... ... pr1 pr2
p1s ... p 2s ... ... ... prs ...
例4-3接例2-12，假设串口通信的误码率为 4%，可以得该信道的转移矩阵为
I ( X ; Y ) p( x, y ) log
x, y
p( x / y) p( x) p( y / x) p( y)
p( x, y) log
x, y
p ( x, y ) p( x) p( y )
p( x, y) log
x, y
可见平均互信息是p（x）和p（y/x）的函数， 而p（x）代表了信源，p（y/x）代表了信道。 因此平均互信息是信源和信道的函数。
例4-10接例4-6 I（X；Y）=
(p p) log 1 1 1 1 (p p) log ( p log p log ) p p p p p p
对于给定的二进制对称信道，当信源为等概分布 时，即ω =1/2时，信道输出端平均每个符号获 得最大信息量，即信道容量为
4.2 信道的分类
1.按输入和输出符号的时间特性分 离散信道、连续信道和半连续信道。 离散信道的输入空间X和输出空间Y都是离散 符号集，离散信道有时又称为数字信道。像 手机和手机之间的信道就是数字信道。 连续信道的输入空间X和输出空间Y都是连续 符号集，连续信道又称为模拟信道。像电台 发出信号，我们用收音机接收就是一个模拟 信道。
4.3.2信道疑义度和噪声熵 定义4-1称信道的输入空间X对输出空间Y的条件熵 H(X/Y)为信道疑义度。 定义4-2称信道的输出空间Y对输入空间X的条件熵 H(Y/X)为噪声熵。 例4-4 （1）无噪无损信道H(X/Y) =0，H(Y/X)=0 （2）有噪无损信道H(X/Y) =0，H(Y/X) ≠0 （3）无噪有损信道H(X/Y) ≠ 0，H(Y/X) = 0
3.按信道的统计特性分为恒参信道和随参信道。 恒参信道的统计特性不随时间发生变化，随 参信道的统计特性随时间发生变化。 4.按信道的记忆特性分为无记忆信道和有记忆 信道。 无记忆信道中当前的输出仅与当前的输入有 关，与过去的输入无关。有记忆信道中当前 的输出不仅与当前的输入有关，还与过去的 输入有关。
PY/X =
0.96 0.04 0.04 0.96
以下是一个可能的信道输出 01001001111011010000000011010010 01001001101001010000000011010010 0111111101111110001000111000 0111101101111110001000111000
4.4信道的组合
多个信道并行传输信息的组合方式称为积信道。 多个信道串行传输信息的组合方式称为和信道 （或级联信道、串联信道）。 级联信道模型
x
信道Ⅰ p（y/x）
y
信道Ⅱ p（z/xy）
z
引理4-1级联信道中的平均互信息满足以下关系 I（XY；Z）≥I（Y;Z） I（XY；Z）≥I（X;Z）等号成立的充要条件是，对 所有的x，y，z有p（z/xy）=p(z/y)=p(z/x) p（z/xy）=p(z/y),表明级联信道的输出Z仅依赖于Y，而 与前面的X无关，即X、Y、Z构成一个马尔可夫链。此时有 定理4-3 若随机变量X、Y、Z构成一个马尔可夫链，则有 I（X；Z）≤I（X;Y）
1 1 C= 1 ( p log p log ) p p
4.5.3三种特殊信道的容量 （1）无噪无损信道H(X/Y) =0，H(Y/X)=0
C max I ( X ; Y ) =logr=logs p(a )
i
最佳输入分布为等概分布。 （2）有噪无损信道H(X/Y) =0，H(Y/X) ≠0
例4-5接例4-3设串口0和1等概分布，计算该信道信道疑义 度和噪声熵。
PX= 1 / 2 1 / 2 PY/X= 0.96 0.04 0.04 0.96
P(X,Y)= 0.48 0.02 0.02 0.48
PX/Y= 0.96 0.04 0.04 0.96 H(X/Y) =0.2423bit/sign H(Y/X)=0.2423bit/sign
I（X；Y） I（X；Z）
1
0 1
1
0.8
0.6
m=1 m=2
0.4
m=3
0.2
0 0 0.5 1
例4-8一个串联信道如图， x、Y、Z构成一个 马尔可夫链。 串联信道
等效信道
4.5信道容量
4.5.1信息传输率 信息传输率：信道中平均每个符号所能传送的信息量， R=I(X;Y)=H(X)－H(X/Y) 比特/符号 信息传输速率：信道在单位时间内平均传输的信息量， Rt=I(X;Y)/t 比特/秒 传输速率是实际通信系统的一个重要指标，它衡量了 实际通信系统实际传输信息的能力，单位为bit/秒， 常写为bps。 例4-9常见无线通信系统的传输速率 在工程实践中，传输速率通常称为信道的带宽。
（1）无噪无损信道的输入X与输出Y存在一一对应关 系。发送的符号不会发生错误，因此信道中没有噪 声。接收到一个符号能够肯定地判断对应的输入是 什么，因此也没有信息的损失。 （2）有噪无损信道的一个输入符号可能对应多个输出 符号，而一个输出符号只对应一个输入符号。发送 的符号可能会发生错误，因此信道中有噪声。接收 到一个符号能够肯定地判断对应的输入是什么，因 此没有信息的损失。
60个bit中有3bit错误，误码率为0.05与0.04 接近。 该离散无记忆信源的特点： 1.输入输出的符号个数均为2个； 2.信道矩阵为对称矩阵。 称为二进制对称信道BSC。
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
•p(Y=0|X=1) = p(Y=1|X=0) = p •p(Y=1|X=1) = p(Y=0|X=0) = 1- p
半连续信道的输入空间X和输出空间Y一个是 离散符号集，另一个是连续符号集。像手机和 固话之间的信道就是一个半连续信道，手机 上处理的是数字信号，固话上处理的是模拟信 号。 2.按输入和输出端的个数分 两端信道、多元接入信道和广播信道。
输 入 端 两端信道 输 出 端 输入端 输入端 输入端 多元接入信道 输 出 端
I（X；Z）
≤ I（Y;Z）
例4-7设有两个离散二元对称信道，进行串联。
1 X 0 P 1 / 2 1 / 2
两个信道的信道矩阵相同，均为：
p 1 p P1 P2 p 1 p
如果x、Y、Z构成一个马尔可夫链，则单个信 道的平均互信息为I（X；Y）=1-H（p）； 串联信道的平均互信息为 I（X；Z）=1-H（2p（1-p））
第四章 离散数学
4.1 离散信道的数学模型 4.2 信道的分类 4.3离散无记忆信道 4.4信道的组合 4.5信道容量
4.1 离散信道的数学模型
信道可以看做是一个变换器，它将输入符号x变换 成输出符号y。
设信道 输入矢量为 X ( X 1 , X 2 , X i ,), X i a1 , , an 输出矢量为 Y (Y1，Y2 ,Y j ,), X j b1 , , bm , 条件概率 p(Y/X)来描述信道输入输出信 号之间统计的依赖关系
C max I ( X ; Y ) =logr
p ( ai )
最佳输入分布为等概分布
（3）无噪有损信道H(X/Y) ≠ 0，H(Y/X) = 0
C max I ( X ; Y )
p ( ai )
=logs 最佳输入分布为使得输出为等概分布的输入分布。
4.5.4对称信道的容量
定义4-5输入对称 如果转移概率矩阵P的每一行都是其他行的置 换(包含同样元素)，称该信道是输入对称信道。 定义4-6输出对称 如果转移概率矩阵P的每一列都是其他列的置 换(包含同样元素)，称该信道是输出对称信道。 定义4-7对称信道 如果输入、输出都对称，该信道是对称信道。
4.5.2信道容量的定义及含义 对于固定信道，平均互信息I（X；Y）是信源 分布p（x）的上凸函数。因此对于一个给定的 信道总存在着一种信源，使平均互信息I（X； Y）达到最大，这个最大的信息传输率定义为 该信道的信道容量。单位比特/符号
C max I ( X ; Y )
p ( ai )
信道容量C是描述信道传输信息能力的一个参数。 信道容量的计算可以通过找出适当的信源分布 p（x），使平均互信息I为最大值来完成。使I 达到最大值的p（x）称为该信道的最佳输入分 布。信道容量反映了信道传输信息的最大能力。
（3）无噪有损信道的一个输入符号只对应一 个输出符号，而一个输出符号可能对应多个 输入符号。发送的符号不会发生错误，因此 信道中没有噪声。接收到一个符号不能够肯 定地判断对应的输入是什么，因此有信息的 损失。
4.3离散无记忆信道
4.3.1离散无记忆信道的数学模型 无记忆信道中当前的输出yj仅与当前的输入 xi有关，与过去的输入无关。 P（yj/xi）(i=1,…,r;j=1,…,s), 其中 P（yj/xi）≥0 s ∑ P（yj/xi）=1
5.几种特殊信道 （1）无噪无损信道 （2）有噪无损信道
（3）无噪有损信道
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 (c) 有噪无损信道 Y X 1 Y X Y