第四章
4
§4.2 离散无记忆信道
一、有关DMC的容量定理
（所说的DMC都是离散无记忆平稳信道）
设
DMC在某个时刻输入随机变量为X，输出随机变量为Y。
信道响应特性为转移概率矩阵
[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]，
它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。
2021/2/28
第四章
2
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p104) 如果
（1变）量信X道u的的事输件入集为合随都机是变{量0, 序1, 列…X, K1,-X1}2,，X3, …，其中每个随机 （2变）量信Y道u的的事输件出集为合随都机是变{0量, 1序, …列,YJ1-,1Y}2，, Y3, …，其中每个随机 则称该信道为离散信道。如果更有
x0 y0
w( y)
K 1 J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 y0
q(z)p(y | z)
z0
K 1
J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 2021/2/28
y0
信息论和编码q (理z论) p基( y础| z ) 第z 四0 章
信道及其容量
§4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道
信息论和编码理论基础
2021/2/28
第四章
1
§4.1 信道分类
信道是传输信息的媒质或通道。（输入→信道→输出）
说明
（1）信道输入是随机过程。
（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称 为转移概率。
7
§4.2 离散无记忆信道
（3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率 矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
K 1 J 1
I(X ;Y )
P (( XY ) ( xy )) log
p(y | x)
则称该信道为离散无记忆平稳信道。
信息论和编码理论基础
2021/2/28
第四章

3
§4.2 离散无记忆信道
关于定义4.2.1和定义4.2.2的注解
“离散”的含义是时间离散，事件离散。即：信道的输入、 输出时刻是离散的，且输入随机变量和输出随机变量都是 离散型的随机变量。
“无记忆”的含义是信道响应没有时间延迟，当时的输出只 依赖于当时的输入。
8
§4.2 离散无记忆信道
（3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率 矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
K 1 J 1
I(X ;Y )
P (( XY ) ( xy )) log
p(y | x)
“平稳”的含义是信道在不同时刻的响应特性是相同的。
“离散无记忆平稳信道”是最简单的信道，信道在某一时刻 u的响应特性
P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，
就能很简单地计算出信道信在息任论意和时编码间理段论的基响础应特性。
2021/2/28
（3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)，
则称该信道为离散无记忆信道（DMC）。如果更有
（4）对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时 刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，
x0 y0
w( y)
K 1 J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 y0
q(z)p(y | z)
z0
K 1
J 1
q ( x) p ( y | x) log
K 1
p(y | x)
x0 2021/2/28
y0
信息论和编码q (理z论) p基( y础| z ) 第z 四0 章
p(0|1)
p(1|1)
p(J1|1)
p(0|K1) p(1|K1) p(J1|K1)
J 1
对x ， 任 p (意 y |x ) P ( Y { 0 ,1 , ,J 1 } |X x ) 1 y 0
信息论和编码理论基础
2021/2/28
第四章
6
§4.2 离散无记忆信道
（2）对任意y∈{0, 1, …, J-1}，由全概率公式有
X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。
Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。
以下的结论是我们已知的。
信息论和编码理论基础
2021/2/28
第四章
5
§4.2 离散无记忆信道
（1）转移概率矩阵的每一行都是一个概率向量。
p(0|0) p(1|0) p(J1|0)
（3）信道输出是随机过程，输出的概率分布可以由输入的概率 分布和信道的响应特性得到。（全概率公式）
（4）根据信道输入、信道响应特性、信道输出的情况，可将信
道分类：离散信道（又称为数字信道）；连续信道（又称
为模拟信道）；特殊的连续信道——波形信道；恒参信道
和随参信道；无记忆信信道息论和和有编记码忆理信论基道础；等等。
K1
w(y)q(x)p(y| x) x0
(w(0)w ,(1) , ,w(J1))
p(0|0) p(1|0) p(J1|0)
(q(0)q,(1) , ,q(K1))
p(0|1)
p(1|1)
p(J1|1)
2021/2/28
p(0|信K息论1)和编p(码1|理K论1基)础p(J1|K1)
第四章
9
§4.2 离散无记忆信道
（4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。则见定理2.6.2。
定义4.2.3(p105) 离散无记忆信道的信道容量定义为如下的C。 达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称 为最佳输入分布。 其中