的二元函数：
n
p( y j ) p( xi ) p( y j / xi )
i 1
p( xi y j ) p( xi ) p( y j / xi ) p( y j / xi ) p( y j ) p( xi ) p( y j / xi ) log2
i 1 j 1 n m
I ( X ;Y ) p( xi y j ) log2
② 信道的信息传输率
② 信道的信息传输率

研究信道的目的：讨论信道中平均每个符号传送的信息 量（信道的信息传输率）。

信道的信息传输率：就是平均互信息：
R=I(X;Y)＝ H(X) － H(X/Y)（比特/符号）
平均互信息 I(X;Y) 就是接收到符号 Y 后平均 每个符号获得的关于 X 的信息量
y1 信道矩阵 y2 ym
x1 y1 y2
反信道矩阵 x2
xn
x1 p( y1 / x1 ) p( y2 / x1 ) p( ym / x1 ) x2 p ( y / x ) p ( y / x ) p ( y / x ) 1 2 2 2 m 2 xn p( y1 / xn ) p( y2 / xn ) p( ym / xn )

道。计算机和外存设备之间的信道可看作是无干扰信道。
⑤ 根据信道有无记忆特性分类

无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。 有记忆信道：信道输出不仅与当前输入有关，还与过去输入和 （或）过去输出有关。
(3) 实际的信道

实际信道的带宽总是有限的，所以输入和输出信号总可
以分解成随机序列来研究。随机序列中每个随机变量的



信道的随机性：由于干扰和噪声的存在，变换是随机 （概率）的。
信道的描述：用条件转移概率表示。

本章内容

信道的数学模型及分类 单符号离散信道的信道容量
3.1 信道的数学模型及分类

一般信道的数学模型 信道的分类 实际的信道
(1) 一般信道的数学模型

信息论对信道的研究：对具体物理信道抽象，建立与各 种通信系统相适应的信道模型，研究信息在这些模型信 道上传输的普遍规律，指导通信系统的设计。
p( x1 / y1 ) p( x2 / y1 ) p( x n / y1 ) p( x / y ) p( x / y ) p( x / y ) 1 2 2 2 n 2 ym p( x1 / ym ) p( x2 / ym ) p( xn / ym )
① 信道统计特性
a 信道模型

设输入：X∈{x1,x2,…,xi,…,xn} 输出：Y∈{y1,y2,…,yj,…,ym} 其信道模型：
A

X
{x1,x2,…,xn}
p(yj /xi)
i=1,2,…,n j=1,2,…,m
{y1,y2,…,yn}
Y
图3.2.1a 单符号离散信道的数学模型
⑤ 根据信道有无记忆特性分类
① 根据输入输出随机信号的特点分类

离散信道：输入和输出的随机序列的取值都是离散的信道。 连续信道：输入和输出的随机序列的取值都是连续的信道。 半离散／半连续信道：输入变量取离散值而输出变量取连 续值，或反之.
② 根据输入输出随机变量个数的多少分类

单符号信道：输入和输出端都只用一个随机变量来表示。
信息论与编码
西安工业大学电子信息工程学院
赵 黎
第三章 信道容量

信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷 信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息 量最大。 信道定义：传输信息的媒介或通道。信道也可以看作 一种变换，把输入变换成输出。
a 信道模型

用线图描述：
X x1=0 p 1－ p Y y1=0
p x2=1 1－ p y2=1
3.2.1b 二元对称信道概率转移图
b 信道统计特性

信道统计特性：由信道转移概率描述。 信道转移概率（信道传递概率）：条件概率 p(yj /xi)。 信道特性表示：用信道转移概率矩阵，简称信道矩阵。 反信道矩阵：由条件概率 p(xi /yj) 表示。

信道模型：不研究信号在信道中传输的物理过程，把信
道模型看作黑匣子。
输入量 X （随机过程）
信道
图3.1.0 信道的最一般模型
输出量 Y （随机过程）

数学模型的数学符号表示： {X P(Y/X) Y}
X
P(Y/X)
图3.1.1 一般信道的数学模型
Y
(2) 信道的分类
① 根据输入输出随机信号的特点分类 ② 根据输入输出随机变量个数的多少分类 ③ 根据输入输出个数分类 ④ 根据信道上有无干扰分类
② 信道的信息传输率

如果信源熵为 H(X)，希望在信道输出端接收的信息量就 是 H(X)，由于干扰的存在，一般只能接收到 I(X;Y)。 输出端 Y 往往只能获得关于输入 X 的部分信息，这是由 于平均互信息性质决定的：I(X;Y)≤H(X)。


I(X;Y) 是信源无条件概率 p(xi) 和信道转移概率 p(yj /xi)
i 1 j 1
n
m
p( y j / xi )
离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量 序列（随机矢量）来表示。
③ 根据输入输出个数分类

单用户信道：只有一个输入和一个输出的信道。 多用户信道：有多个输入和多个输出的信道。(多元接入信道和广 播信道)
④ 根据信道上有无干扰分类

有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般 都是有干扰信道。 无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信
取值可以是可数的离散值，也可以是不可数的连续值。

一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。
3.2 单符号离散信道的信道容量

信道容量定义 几种特殊离散信道的信道容量 离散信道容量的一般计算方法
(1) 信道容量的定义
① 单符号离散信道的数学模型 ② 信道的信息传输率 ③ 信道容量