东南大学移动通信国家重点实验室
5
“信息论与编码”课件
5.1 信道的分类及其描述
（5）信道按其统计特性来划分， 恒参信道：信道的统计特性不随时间变化，又称为平 稳信道。 变参信道：信道的统计特性随时间变化。
本章只讨论平稳的单向单路的无扰和有扰离散 信道，对于有扰离散信道将分别讨论无记忆和 有记忆两种情况。
log 2568000 8000 × log 256 = 64 kbps Ct = = T
这就是传送PCM信号需要的信道容量。
东南大学移动通信国家重点实验室
13
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 一般地，若每个信道基本符号的长度为b秒，每 秒钟内信道上可传送的信道基本符号数为n，则 n =1/b；T秒钟内信道上可构成的不同消息数为 N(T)=D nT，其中nT为T 秒钟内信道上可传送的 信道基本符号数。于是 Ct = nlb D bps (5.6) 如果不以秒而是以一个码元的时间作为标准， 则 C = Ct / n = lb D bit/码元时间 (5.7)
(5.8)
式中第1行的××⋅⋅⋅××表示除a1外的D – 1个信道基本符号的 全排列，其余类推。利用递推的方法或其他方法可得 C = lb rmax bit /单位码元时间 其中rmax是N (T)的特征方程 (5.9)
(5.10) 的最大正实根。 从物理概念考虑（脉冲间隔T）lbD/T
东南大学移动通信国家重点实验室
(a )
东南大学移动通信国家重点实验室
21
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 推广之，设从状态 i 到状态 j 发的符号为 a ，所 k ak b 用的时间为 ij ，则 (a ) (a ) ，b11 b11 —从状态1到状态1，有两种可能：b11 (a ) (a ) b21 —从状态2到状态1，有两种可能： b21 ，b21 (a ) (a ) b12 ，b12 b12 —从状态1到状态2，有两种可能： b22 —从状态2到状态2，无此可能。 根据表5.1，有
lbN (T ) C t = lim T →∞ T
东南大学移动通信国家重点实验室
(5.5)
10
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
定义5.2 信道基本符号是指信道上允许 传送的符号，是信源编码器的输出。
例如：二进制信道只有1、0两个基本符号； 多进制信道有多个基本符号，如16进制信道 包括0~ F 这16种基本符号。
东南大学移动通信国家重点实验室
7
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念 消息在无扰离散信道上传输不会损失信息量， 所以在这种信道上的信息传输速率就等于信源 的时间熵，即 Rt = Ht bit/s (5.1) 平均互信息量实质上就是量纲为比特/码元（或 比特/符号、比特/符号序列等）的信息传输速 率。如果改变其时间单位，则有 1 (5.2) Rt = I ( X; Y) t
东南大学移动通信国家重点实验室
14
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 2. 无固定约束的不均匀编码信道的信道容量 无固定约束的不均匀编码信道的基本符号 是等幅的不等长脉冲，用脉冲占有时间的不同 来携带信息。
东南大学移动通信国家重点实验室
15
“信息论与编码”课件
t为1码元（或符号、符号序列等）所占用的时间，主 单位为s。
8
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量概念
消息在不失真传输的条件下，信道所允许的最 大信息传输速率称为信道容量，即 C = Rmax。 当单位为b/s（bps）时，C变换为Ct ，有 Ct = Rt max (5.3)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量和信道中传输的消息数目之间的 关系
对无扰情况，信道传输的信息量就是信源发出 的信息量，若在T时间内信源发出的符号总数为 N(T)，则
lbN (T ) Ct ≈ T
(5.4)
若消息之间是统计独立的，则对于平稳来自源，有( a1 ) ( a2 ) ( a1 ) ( a2 ) N 2 (T ) = N1 (T − b11 ) + N1 (T − b11 ) + N 2 (T − b21 ) + N 2 (T − b21 )
(5.12) 式中 N 1 (T − b12 3 ) 表示在T时间内发的最后一个符号 是a3并使状态从状态1改变到状态2的各种可能消息的总 数，而a3用的时间为b12；其余类推。
17
r
− t1
+r
−t2
++ r
−tD
−1 = 0
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 3. 有固定约束的不均匀编码信道的信道容量
假如编码不满足遍历性，即由转移不受限制变为转移 受限制，传输它的信道就成为有固定约束的不均匀编 码信道。 传输莫尔斯（Morse）电码的信道是一种典型的有固 定约束的不均匀编码信道，下面通过对它的分析来看 这种信道的信道容量。
东南大学移动通信国家重点实验室
18
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.3 电报员发报用Morse电码；Morse电码由点、划、字 母间隔和单词间隔四种基本符号构成，见表5.1，表中的 “＋”表示按键合上，“－”表示按键断开，分别相应于 发声与不发声状态；试求Morse信道的信道容量。
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量，主要是求在T 时间内能构成的不同消息总
数N(T)。 若以最窄的脉冲作为单位码元而其他脉冲的宽度都是它的 倍数，则PTM脉冲宽度量化为有限种信道基本符号。 设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占 用时间分别为：t1, t2, …, tD ；选取时间T 能够遍历D种信道 基本符号，则在T 内可能构成的符号总数N (T)是D种信道 基本符号的全排列，有如下表达式：
“信息论与编码”课件
第五章 离散信道及其信道编码
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
本章内容提要
信道的分类及其描述 无扰离散信道的传输特性 有扰离散信道的传输特性 译码准则 有扰离散信道的信道编码定理 信道编码定理的应用 Fano不等式的证明
东南大学移动通信国家重点实验室
东南大学移动通信国家重点实验室
16
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
(续)
N (T ) = a1 × × × × + a 2 × × × × + + a D × × × × = × × × × × a1 + × × × × × a 2 = N (T − t1 ) + N (T − t 2 ) + + N (T − t D ) + + × × × × × aD
基本符号 构成 点 划 ＋－ ＋＋ ＋－ 持续时间 具体实现 t1 =2 t2 =4 t3 =3 t4 = 6 清脆响一短声 响一长声，声长三倍点 3个单位码元时间不发声 6个单位码元时间不发声
字母间隔 ――― 单词间隔 ――――――
表5.1 Morse电码的构成表
东南大学移动通信国家重点实验室
19
2
“信息论与编码”课件
5.1 信道的分类及其描述
信道模型
X
信道{P(y/x)}
Y
图5.1 信道模型 图中X为信道的输入消息集合，也称为信道的输入 空间，Y为信道的输出消息集合，也称为信道的输出 空间。集合{P(y|x)}是描述信道特征的传输概率集合。
东南大学移动通信国家重点实验室
3
“信息论与编码”课件
东南大学移动通信国家重点实验室
4
“信息论与编码”课件
5.1 信道的分类及其描述
（3） 信道按输入/输出信号间的关系是否确定来划分， 无扰信道：信道输入/输出之间的关系是一种确定的关系，这 是一种理想化的信道，信道上不存在噪声及干扰。无扰信道 是一种理想信道，可以作为衡量其他信道特性的参考。 有扰信道：信道输入/输出之间的关系是一种统计依存的关系， 信道上存在干扰或噪声，或两者都有。实际的通信信道几乎 都是有扰信道。 （4） 信道按其输入/输出之间关系的记忆性来划分， 无记忆信道：在某一时刻信道的输出消息仅与当时的信道输 入消息有关，而与前面时刻的信道输入或输出消息无关。信 道的统计特性可以用信道传输概率的集合{P(y|x)}来描述。 有记忆信道：在任意时刻信道的输出消息不仅与当时的信道 输入消息有关，还与以前时刻的信道输入消息和（或）输出 消息有关。实际信道一般都是有记忆的。
a1
状态1

a2
a3 a4 a1 a2

状态2
图5.2 例5.3的状态转移图
20
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
先求在时间T内从状态1转移到状态2或从状态1、2转移 到状态1的各种可能消息的总数目，分别用N1(T)和N2(T) ( a3 ) ( a4 ) 表示。则 N1 (T ) = N1 (T − b12 (5.11) ) + N1 (T − b12 )