.
§4.3:离散无记忆信道及其信道容量-8
对称信道
1
1
31
6
3
1 16 6
1 6
1 3
1 3
1 1 1 1
P1
3 1
6
3 1
6
6 1
3
6
1 3
1 12 13 6 1 61 12 31 31
61 2
1 1 1
2 3 6
p2
1 6
1 2
1 3
1 1 1
3
6
2
.
§4.3:离散无记忆信道及其信道容量-9
即：p(a1)=p(a2)=1/2；有：
2
p(b1)
p(ak
)q(b1
|
ak
)
1 2
(1 )
k 1
2
p(b2)
p(ak
)q(b2
|
ak
)
1 2
(1 )
k 1
p(b3)
3
于是：CI(xak;Y) q(bj|ak)loq(p g b (jb |a j)k) j 1
(1 )log 1 2(11) log 1
b1
ε
ε
a2
b2
1-ε
.
§4.3:离散无记忆信道及其信道容量11
由定理5.2，当输入等概分布时，互信息达到信道容量
即：p(a1)=p(a2)=1/2；有： 2 p(b1) p(ak)q(b1| ak)12 k1
p(b2)
p(b1)
1 2
2
于是： CI(xak;Y) q(bj|ak)loq(p g b (jb |a j)k) j 1
.
概念问题
熵熵率无失真信源编码定理中 的作用
互信息信道容量信道编码定理 中的作用
.
回顾－互信息函数的性质1
互 信息与信道输入概率分布的关系
性质1 ：I(X; Y)是信道输入概率分布p(x) 的上凸函数.
I(X; Y)
p(x)
.
回顾－互信息函数的性质2
信息量与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x) 的下凹函数.
.
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
一般无记忆 无记忆信道
平稳无记忆 离散消息序列信道
有记忆信道 : 平稳，有限状态 有记忆信道
.
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P(
y
x
K
)无 记 忆
k1
P( yk
xk )
平稳Pk(y x )
由消息序列互信息 I(X;Y) 性质 K
.
§4.3:离散无记忆信道及其信道容量-5
离散无记忆信道的信道容量定理
定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的 概率分布p*能使互信息I(p,Q)取最大值的充要条件是
I(xak;Y)|pp*C,当p*(ak)0
其中：
I(xak;Y)|pp*C,当p*(ak)＝ 0
J
I(xak;Y)
xi X K i{1,2,,nk}
其中：y j Y K 而 j{1,2,,mk} 而
P(y1 x1) P(ymk1 x1)
P
P(y1/xnk ) P(ymk xnk )
.
§4.2:信道分类与描述－8
当K=1时，退化为单个消息（符号）信道；进一步当 n=m=2时，退化为二进制单个消息信道。若它满足对称 性，即构成最常用的二进制单消息对称信道BSC：
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
.
§5.1:概述－4
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。
RloM g
（达到极限时等号成立）
.
§4.3:离散无记忆信道及其信道容量-
16
香农第一定理（变长无失真信源编码定理）的物理意义
无噪无损信道的信道容量：C=logMRloM g
再看当平均码长达到极限值时 此时信道的信息传输率R＝无噪信道的信道容量C 无失真信源编码的实质：
(1)log11/2 log1/2
1H()
这里：H () lo ( g 1 )lo 1 g ) (
应用举例 3.2(18)、3.6(23)
.
§4.3:离散无记忆信道及其信道容量12
二元删除信道信道容量的计算
1-ε
a1
b1
ε
b3
ε
a2
b2
1-ε
.
§4.3:离散无记忆信道及其信道容量13
由定理5.2，当输入等概分布时，互信息达到信道容量
能充分利用信道传输信息的能力
.
§4.3:离散无记忆信道及其信道容量-4
离散无记忆信道容量的计算
思路：问题转化为：有界闭区域上求约束极 值
方法：1、求区域内极值
2、求边界极值 3、求前两者的最大值 具体实现：
1、简单情况下求解（如单符号信道、对称信道） 2、解方程 3、迭代法 4、其他
第四章：信道与信道容量
.
本章节达到的目的
了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方
法 掌握信道容量/信道容量代价函数的概念，以
及与互信息、信道输入概率分布、信道转移函 数的关系 能够计算简单信道的信道容量/信道容量代价 函数（对称离散信道、无记忆加性高斯噪声信 道）
对离散无记忆信道，有： I(X;Y) I(Xk;Yk)（性质4）
则
K
k1
cmaxI(X;Y)max
p( x)
p(x) k1
I(Xk,Yk)
K
K
k1mpiaxI(Xk,Yk)
Ck
k1
平稳KCk
当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论） .
§4.3:离散无记忆信道及其信道容量-3
P 即：{ [XK, p(x)]
}， ( y x) [Y K ,q(y)]
它可简化为：[XK,P( )Y , K] 。
.
§4.2:信道分类与描述－7
p X (x K ) p x 1 1 x p n n k k 入 信 出 道 q Y (K y ) q y 1 1 q y m m k k
I(X,Y)是I(x=ak;Y)的平均值。即：I(X ,Y ) p (a k)I(xa k;Y )
想提高I(X,Y)，可以提高p(ak)
k
但提高p(ak)，又使I(x=ak;Y)降低
反复调整p(ak)，使I(x=ak;Y)相等且都等于C
此时I(X,Y) ＝C
定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无 具体分布及C的值，但可以帮助求解简单情况部分信道的
通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传 输特性已知）
.
§4.2:信道的分类与描述
信道分类 信道描述
.
§4.2:信道分类与描述－1
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
C
.
§4.3:离散无记忆信道及其信道容量-7
对称的离散无记忆信道信道容量
对称的离散无记忆信道
输出字母的集合可以划分为若干子集，对每个子集有：
矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。
定理5.2：对于对称的离散无记忆信道，当信 道输入字母为等概率分布时达到信道容量。
I(X; Y)
p(y/x)
.
回顾－互信息函数的性质3
信息量与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的,
.
回顾－互信息函数的性质4
• 信息量与信道输入符号相关性的关系 性质4: 信道是离散无记忆的,
.
回顾－互信息函数的性质5
性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的
2〉信号与干扰类型
离散
信号类型
连续 半离散 半连续
无记忆 有记忆
无干扰：干扰少到可忽 略；
无源热噪声
干扰类型
有干扰
线性叠加干扰 有源散弹噪声
脉冲噪声
交调
乘性干扰
衰落 码间干扰
.
§4.2:信道分类与描述－4
3〉信道参量类 变 恒型 参 参信 信道 道（ （时 时变 不信 变 ）道 信） 道
离散无记忆信道及其信道容量的进一步理解
Cmax存在互信息性质1，上凸函数极值存在 达到Cmax时的两个条件：
信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布
C的值不是由信源的p(x)决定的，而是由p ( y x) 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时，才
.
信道与信道容量
概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量
容量代价函数C(F)
.
§4.1:概述
信息论对信道研究的内容 什么是信道？ 信道的作用 研究信道的目的
.
§5.1:概述－1
信息论对信道研究的内容：
信道的建模：用恰当的输入/输出两个随机 过程来描述0Leabharlann 1-Pe1 0输入
x{0,1}
Pe
Pe