2018/12/19
电信学院
江小平
9/44
• 几种特殊离散信道的信道容量



离散无噪信道的信道容量 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
2018/12/19
电信学院
江小平
10/44
具有一一对应关系的无噪信道

信道模型如 图

对应的信道 矩阵是
1 0 0 0
(比特 / 信道符号)

单位时间的信道容量Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 1 (比特 / 秒) t max I ( X ; Y )
p ( xi )


C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入 信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅 仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量；是信道能够传送的 最大信息量。
p( y j ) p( xi ) p( y j / xi )
i 1
n
p( xi y j ) p( xi ) p( y j / xi )
p ( y j / xi ) 2 p( y j )
I ( X ; Y ) p( xi y j ) log
i 1 j 1
n
m
p( xi ) p( y j / xi ) log2
2018/12/19
电信学院
江小平
6/44
信道统计特性

信道统计特性描述：由信道转移概率p(yj /xi)描述。 信道特性表示：用信道转移概率矩阵，简称信道矩阵。
y1 x1 p( y1 / x1 ) x2 p ( y / x ) 1 2 xn p( y1 / xn )
i 1 j 1
n
m
p ( y j / xi )
p ( xi ) p ( y j / xi )
i 1
n
2018/12/19
电信学院
江小平
8/44
信道容量

信道容量C：信道中最大的信息传输速率，单位是比特/信 道符号。
C max R max I ( X ;Y )
p ( xi ) p ( xi )

上一节讲过求信道容量C的方法：

信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。 一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量， 随信道特性的变化而变化。 不同的信道，其容量C是不同的。

2018/12/19
电信学院
江小平
2/44
信道的输入输出关系



信道容量
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道
2018/12/19
电信学院江小平源自1/44
信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息 的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最 大。
信号在信道中传输会引入噪声或干扰，它使信号 通过信道后产生错误和失真； 信道的输入和输出之间一般不是确定的函数关系， 而是统计依赖关系； 知道了信道的输入信号、输出信号以及它们之间 的依赖关系，信道的全部特性就确定了。一般来说，
输入和输出信号都是广义的时间连续的随机信号，可用随 机过程来描述。
2018/12/19
2018/12/19
电信学院
江小平
4/44
信道的分类
① 根据输入输出随机信号的特点分类：离散信道，连续信 道，半离散/半连续信道。 ② 根据输入输出随机变量个数的多少分类：单符号信道， 多符号信道。 ③ 根据输入输出个数分类：单用户信道，多用户信道。 ④ 根据信道上有无干扰分类：有干扰信道，无干扰信道。 ⑤ 根据信道有无记忆特性分类：无记忆信道，有记忆信道。
2018/12/19
信道矩阵 y2 p( y2 / x1 )
ym
p( ym / x1 ) p ( y 2 / x2 ) p ( y m / x2 ) p ( y 2 / xn ) p ( y m / xn )
电信学院
江小平
7/44
信道的信息传输速率



如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由 于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平 均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息 性质决定的：I(X;Y)≤H(X)。 I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj /xi)的二元函数：当 信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。 调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已 知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即 某一种信源），使信道所能传送的信息速率为最大。

实际信道的带宽总是有限的，输入和输出信号总可以分 解成随机序列来研究。一个实际信道可同时具有上述的 多种属性。最简单的信道是单符号离散信道。
2018/12/19
电信学院
江小平
5/44
单符号离散信道的数学模型


设输入X∈{x1,x2,…,xi,…,xn} 输出Y∈{y1,y2,…,yj,…,ym} 信道模型如图所示。
电信学院
江小平
3/44
一般信道的数学模型

信道的一般数学模型如图所示
X
P(Y/X)
一般信道的数学模型
Y

模型的数学符号表示 {X P(Y/X) Y} 实际信道带宽总是有限的，所以输入和输出信号总可以分 解成随机序列来研究。随机序列中每个随机变量的取值可以是可
数的离散值，也可以是不可数的连续值。
0 0 0 1 0 0 0 1 0 0 0 1
江小平
0 0 0 1
0 0 1 0 1 0 1 0 0 0 0 0
11/44
2018/12/19
电信学院





因为信道矩阵中所有元素均是“1”或“0”，X和Y 有确定的对应关系： 已知X后Y没有不确定性，噪声熵 H(Y/X)=0； 反之，收到Y后，X也不存在不确定性，信道疑义 度 H(X/Y)=0; 故有 I(X;Y)=H(X)=H(Y)。 当信源呈等概率分布时，具有一一对应确定关系 的无噪信道达到信道容量: