Where C=constant
P y x ？pn
我们可以从数学中证明这个关系：
§4. 1 信道的数学描述与分类
dn P( y x ) p N (n ) pN ( y x ) pN ( y x ) p(n ) dy H (Y X ) H ( N ) H (Y X ) 即噪声熵。
前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。 下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的 物理特征的物理量。首先，如果说给定一个信道则就意味着给定了 P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一 地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，
(Channel and Cannel Capacity)
§4.6 比特能量与比特信噪比
§4.7 功率利用率与频谱利用率的关系
§4.8 有色高斯信道的信道容量 §4.9 信源与信道的匹配设计
第四章：信道和信道容量
§4. 1 信道的数学描述与分类
( The mathematical description and classes of channel)
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道 3.P ( x y ) 1 but P ( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
ቤተ መጻሕፍቲ ባይዱ

I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
§4. 1 信道的数学描述与分类
Definition : C max I ( X ;Y ) P ( y ) x p( x)
def def
严格的定义： C sup I ( X ;Y ) P ( y ) x
p( x)
这里， sup 表示求上确界的数学处理。 ( supremum )
where, 0 1 唯一性证明:要证明两种唯一性问题， 1. 互信息的极值是唯一的。 2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。
§4. 1 信道的数学描述与分类
三、信道的分类 ( The classes of channel )
我们给出一种基于信道数学描述的分类方法。因为条件概率 P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道， 所以我们说信道的分类应该依据P(Y/X)的性质来分。
I ( X ;Y ) H ( X ) H ( X Y ) H (Y ) H (Y X ) F p( x ), P( y x ), A, B x A, yB 如果给定集合A和 B，则I ( X ;Y )就是关于p ( x )和P ( y x )的函数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。 因此，互信息是与信源、信道有关的量，如果对互信息作一些数 学处理，设法使它能直观地反映信道的某种物理特性，那么它是 否将比P(y/x)更具有实用价值？ where,
§4. 1 信道的数学描述与分类
虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达 出信道的物理功能能力的大小，这对于评估、优化、分析等应 用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。 但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因 为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送 信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的 情况，也是间接反映信道的功能属性。所以我们只得引入一个 信道的物理量——信道容量。 二、信道容量的定义（Definition of Channel Capacity）
«信 息 论 基 础 »
第四章：信道和信道容量
(Channel and Cannel Capacity)
§4.1 信道的数学描述与分类 §4.2 单符号信道的信道容量 §4.3 多符号信道的信道容量 §4.4 连续信道的信道容量
§4.5 Shannon公式的应用
«信 息 论 基 础 »
第四章：信道和信道容量
P( y x ) p( x ) p( x )
但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中 一个确知以后，Y的不定度是否完全有另一变量所决定？即：
y x n then y f ( x, n) P( y x) pY ( y C n) f (n) f ( y x) N (n)
P( y P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) x) P( y1 x1 ) P( y2 x1 x2 ) P( yL x1 x2 xL )
对于后者，通常采用MC特性的方法来处理解决，到目前为止还 没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一 般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单 符号信道就是指同时只能发送一个信源符号的信道；而多符号信道 是指在单位时间内可同时发送多个符号的信道。 解决问题应从简单问题入手，因此我们重点讨论单符号信道问 题，最后过渡到多符号信道问题。
2 H (Y X ) H ( N ) log 2 e n
§4. 1 信道的数学描述与分类
因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的 固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道 本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输 过程中必然引起信息的损失，这是信道本身的客观属性，而与信 源和信宿无关。再有不同的信道应存在不同的损失，如果想利用 数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
Channel 一般来讲，信道都是加性信道，即 Y X N ，这是因为对于乘性噪声 N 的数学描述尤为困难，所以通常仅以加性取代。
X
Y
§4. 1 信道的数学描述与分类
条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知 信源X的条件下，信道的输出还存在不定度时，则此刻它必定 是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的 书称为信道疑义度(Channel equivocation) 。它所表达的物理意 义：当信道输出端Y收到全部的输出符号之后，对输入端X尚 存的平均不确定度。这种对X还剩下的不定度也是由于传送过 程中，信道干扰机制所致。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的 是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信 道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。 这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关 系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含
且， H (Y ) H (Y X ) H ( N )
例4-1. 设信道噪声为高斯噪声，且概率密度为：
p(n) 1 2 n
y
2
exp(
1
2 2 n
n2 )

y xn
则： P ( y x ) p ( y x )


1 2 exp 2 (u x ) du 2 2 n 2 n 1 即高斯噪声熵。
§4. 1 信道的数学描述与分类
⑴. 无噪无损信道
即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 书中称为无损确定信道(P93)。则： C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
⑵. 确定信道之一
xr 1 xr
ys
max
p( x)
maxH ( X ) log r
p( x)
§4. 1 信道的数学描述与分类
上述无噪信道的信道容量问题都可以看成为最大熵问题，比较 容易解决。但是实际的信道大多是有干扰信道，即：0 P( y x) 1 有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆 信道，从它们的数学性质上很容易划分。
求上确界是为了适应极值只能接近某一极限的情况，因此信 道容量也可能是一个理论值而已。对于信道容量的定义式，我 们可以用集装箱的例子形象化地比喻出来。
§4. 1 信道的数学描述与分类
信道好比集装箱，而信源就像不同的货物，集装箱的容积不 可改变，但是里面的货物的组成是可以改变。调整信源就像改变 货物的组成，是可以用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存 在和唯一，即用于定义信道容量的互信息的条件极值是否一定存 在和这个极值的唯一性。 书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x) 的上凸函数 。 I p1 ( x) (1 ) p2 ( x) I p1 ( x) (1 ) I p2 ( x)