想提高I(X,Y)，可以提高p(ak) 但提高p(ak)，又使I(x=ak;Y)降低 反复调整p(ak)，使I(x=ak;Y)相等且都等于C 此时I(X,Y) ＝C
k

定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无 具体分布及C的值，但可以帮助求解简单情况部分信道的 C

离散无记忆信道及其信道容量的进一步理解

Cmax存在互信息性质1，上凸函数极值存在 达到Cmax时的两个条件：


信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布

C的值不是由信源的p(x)决定的，而是由p ( y x) 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时， 才能充分利用信道传输信息的能力
§4.3:离散无记忆信道及其信道容量-8

对称信道
1
1 6
12 13 6 1 6 1
1 3 1 6
1 3
1 6
1 6
1 3
2
1 3
1 3 1 3
1 6
1 2
1 P1 3 1 6
1 3 1 6
1 6 1 3
1 6 1 3
1 2 1 p2 6 1 3
§4.2:信道分类与描述－4
恒参信道（时不变信道） 3 〉信道参量类型 变参信道（时变信道）
§4.2:信道分类与描述－5
二用户信道（点对点通信） 4〉用户类型 多用户信道（通信网）
§4.2:信道分类与描述－6

信道描述
信道可以引用三组变量来描述： 信道输入概率空间： [ X , p( x)] 信道输出概率空间： [Y , q( y)] 信道概率转移矩阵： P ( y x) 即：{ [ X , p( x)] P ( y x) [Y , q( y)] }， [ X , P( ), Y ] 它可简化为： 。
Y 0 , 1 q( y ) , q ,q 0 1
§4.3:离散无记忆信道及其信道容量
•离散无记忆信道及其信道容量 •离散无记忆信道容量的计算 •离散无记忆信道的信道容量定理
•对称的离散无记忆信道容量
•香农第一定理的物理意义
§4.3:离散无记忆信道及其信道容量-1

Q
a1 0.7 0.1 0.2 a2 0.2 0.7 0.1

§4.3:离散无记忆信道及其信道容量10

BSC信道信道容量的计算
1-ε a1 b1
ε
ε a2 1-ε b2
§4.3:离散无记忆信道及其信道容量11

由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：

性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的
信道与信道容量



概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量 容量代价函数C(F)
§4.1:概述

信息论对信道研究的内容
什么是信道？ 信道的作用 研究信道的目的



§5.1:概述－1

信息论对信道研究的内容：

离散无记忆信道的信道容量定理
定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的 概率分布p*能使互信息I(p,Q)取最大值的充要条件是
I ( x ak ; Y ) | p p* C , 当p* (ak ) 0
其中：
I ( x ak ; Y ) | p p* C , 当p* (ak )＝0

离散消息序列信道
无记忆信道 一般无记忆 平稳无记忆
离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道
§4.3:离散无记忆信道及其信道容量-2

离散无记忆信道及其信道容量
P( y x )无记忆 P(
k 1 K
yk
xk
)
平稳 P k ( y ) x 由消息序列互信息 I ( X ;Y ) 性质 K 对离散无记忆信道，有： I ( X ; Y ) I ( X k ; Yk )（性质4）
xi X K
i {1,2,, n k }
K
y j Y 其中：
k 而 j {1,2,, m } 而
P( y1 x1 ) P( y k x1 ) m 1 P P( y1 / xn k ) P( ym k xn k )
§4.2:信道分类与描述－8



信道的建模：用恰当的输入/输出两个随机 过程来描述 信道容量 不同条件下充分利用信道容量的各种办法
§5.1:概述－2

什么是信道？


信道是传送信息的载体——信号所通过的 通道。 信息是抽象的，信道则是具体的。比如： 二人对话，二人间的空气就是信道；打电话， 电话线就是信道；看电视，听收音机，收、 发间的空间就是信道。
§4.3:离散无记忆信道及其信道容量-7

对称的离散无记忆信道信道容量

对称的离散无记忆信道
输出字母的集合可以划分为若干子集，对每个子集有：

矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。

定理5.2：对于对称的离散无记忆信道，当信 道输入字母为等概率分布时达到信道容量。
p(b1 ) p(ak )q(b1 | ak )
k 1
2
1 2
p(b2 ) p(b1 )
于是： C I ( x ak ; Y )
2
1 2
q(b j | ak ) log
j 1
q ( b j |ak ) p (b j )
(1 ) log 1 log 1/ 2 1/ 2
1 3 1 2 1 6
1 6 1 3 1 2
§4.3:离散无记忆信道及其信道容量-9
0。7 0。7
b1
b1 b2
a1
0 。1 0。1 0。2 0。7
a1
0 。1 0。2 0。1 0。7 0。2
b2
a2
a2 b3
b3
a1 0.7 0.1 0.2 Q a2 0.1 0.7 0.2

由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：
p (b1 ) p (ak )q (b1 | ak ) 1 2 (1 )
k 1 2 2
p (b2 ) p (ak )q (b2 | ak ) 1 2 (1 )

K
K
K
K
K
K
§4.2:信道分类与描述－7
出 YK y1 ymk X K x1 xnk 入 p( x) p1 p k 信道 q( y ) q q k n m 1

当K=1时，退化为单个消息（符号）信道；进一步当 n=m=2时，退化为二进制单个消息信道。若它满足对称 性，即构成最常用的二进制单消息对称信道BSC：
0
1-Pe 1 Pe Pe
0
x{0,1 }
1
输入
y {0,1 }
1
输出
1-Pe 1
1 , X 0 , 1 且 ,1 p ( x) p ,p P( , ) 0 1



概念问题

熵熵率无失真信源编码定理中 的作用

互信息信道容量信道编码定理 中的作用
回顾－互信息函数的性质1

互 信息与信道输入概率分布的关系
性质1 ：I(X; Y)是信道输入概率分布p(x) 的上凸函数.
I(X; Y)
p(x)
回顾－互信息函数的性质2

信息量与信道转移概率分布的关系
I ( x ak ; Y ) q(b j | ak ) log
j 1
J
q ( b j |ak ) p (b j )
是信源字母ak传送的平均互信息，C就是这一信道的信道容量。
§4.3:离散无记忆信道及其信道容量-6

离散无记忆信道的信道容量定理理解


在这种分布下，每个概率>0的字母提供的互信息＝C， 每个概率＝0的字母提供的互信息≤C 当且仅当这种分布时，可使I(p,Q)达到最大值C I(X,Y)是I(x=ak;Y)的平均值。即： I ( X , Y ) p ( a k ) I ( x ak ; Y )
性质2 ：I(X; Y)是信道转移概率分布p(y/x) 的下凹函数.
I(X; Y)
p(y/x)
回顾－互信息函数的性质3
性质3: 信道的输入是离散无记忆的,
回顾－互信息函数的性质4
•
信息量与信道输入符号相关性的关系
性质4: 信道是离散无记忆的,
回顾－互信息函数的性质5
§4.3:离散无记忆信道及其信道容量-4

离散无记忆信道容量的计算


思路：问题转化为：有界闭区域上求约束极 值 方法：1、求区域内极值
2、求边界极值 3、求前两者的最大值 具体实现：


1、简单情况下求解（如单符号信道、对称信道） 2、解方程 3、迭代法 4、其他
§4.3:离散无记忆信道及其信道容量-5
§5.1:概述－3

信道的作用

在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
§5.1:概述－4