C的单位是信道上每传送一个符号（每使用一次信道）所能
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
ห้องสมุดไป่ตู้ P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
互信息与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4

互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )