• 2)从信息论的角度看，平均的条件自信息即条件熵H（X/Y）可以解释为由于信道干扰和噪声所造成的 平均信息量的损伤。
如果BSC信道中p(0/1)=p(1/0)=p=0,即无误码概率，那么从接收的 Y可完全确定发送的X，信 道的介入没有产生任何损伤或模糊度，因此条件熵H（X/Y）＝0。
若H（X/Y）＝0，必有I（X;Y）＝H（X），互信息等于输人符号的信息熵。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不
对称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。
用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上，I(Px）取得了极 大值，这个极大值就是信道容量。
如何计算信道容量?
• （1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行
的置换（包含同样元素），称该矩阵是输入对 称的；如果转移概率矩阵P的每一列都是第一列 的置换（包含同样元素），称该矩阵是输出对 称的；如果输入、输出都对称，则称该DMC为 对称的DMC信道。

q1 Q1 i0 j0
p(xi ) p(y j
/
xi )log
p(y j / xi ) p(y j )
• (2) 限制条件: p( xi ) 0
q 1
p(xi ) 1
i 0
• (3) 信道容量单位
a. C的单位是信道上每传送一个符号（每使用一 次信道）所能携带的比特数，即比特／符号 （bits／symbol或 bits／channel use）。
C=p(x0)p(0/0)log[p(0/0)/0.5]+ p(x0)p(1/0)log[p(1/0)/0.5]+ p(x1)p(0/1)log[p(0/1)/0.5]+ p(x )p(1/1)log[p(1/1)/0.5]
• 说明： 1) C随p变化的曲线如图5-1-4所示。 由图可知，p=0时的信道容量是1比特每符号（l bit／Symbol）； 当p=1/2时，从输出得不到关于输入的任何信息，互信息为0即信道容量是零。 对于1/2＜p≤ l的情况，可在BSC的输出端颠倒 0和 1，导致信道容量以p=1/2点为中心对称。
• ③ 当信道输入符号等概分布时，对称DMC信道达到其信道容量，为
Q
C log Q H (Y / xi ) log Q pij log pij j 1
• 证明③ :
由于对称信道的条件熵H（Y／X）与信 道输人符号的概率分布无关，所以
max[H Px
(Y
)

H
(Y
/
X
)]

max[H Px
b. 以e为底取自然对数时，信道容量的单位变为 奈特／符号（nats／sym－bol）。
c. 如果已知符号传送周期是T秒，也可以“秒” 为单位来计算信道容量，此时Cs＝C／T，以 比特/秒（bits／s）或奈特/秒（nats／s）
•(4) 转换计算式
若将Px=[p（x0）,p（x1），….，p（xq-1）] 定义为输入符号的概率矢量Px，关系式
例如：
1/ 3 1/ 6
1/ 3 1/ 6
1/ 6 1/ 3
1/ 1/
63和
1/ 2 1/ 6 1/ 3
1/ 3 1/ 2 1/ 6
1/ 6 1/ 3 1/ 2
都是对称的
有扰的对称DMC信道性质：
• ① 对称信道的条件熵H（Y／X）与信道输入符号的概率分布无关，且有H（Y／X）＝H（Y／xi），i＝ 0，1，…，q-1。
第十三讲
5.1.2 信道容量
• 1．如何刻画DMC信道的容量? 考虑一个DMC信道，其输入字符集是X={x0，x1，…，xq-1}，输出字符集是Y={y0,y1，…，yQ-1}，转 移概率P（yj／xi）. 若给定信道的转移概率和对应于输入符号的概率分布p（xi）,则 DMC信道容量C 为
C max I(X ;Y ) p( xi )
换言之，信道上传送的信息量正是输人信号的全部信息量，相当于信道容量为1。
3)当X和Y统计独立时，接收的Y完全与发送的X无关，此时P=0.5及H（X/Y）=H（X），说明损失的信
。 息 达 到 与 输 人 符 号 信 息 熵 相 等 的 程 度 。 可 得 I （ X ; Y ） = 0 或 C ＝ 0 ， 即 信 道 上 没 能 传 送 任 何 信 息
max
p( xi )
q1 i0
Q1 j0Biblioteka p(xi ) p( y j
/
xi ) log
p( y j / xi ) p(y j )
说明:
• (1) 两个公式
q 1
p( y j ) p(Y y j ) p(xi ) p( y j / xi ) i0
I ( X ;Y )
(Y
)

H
(Y
/
xi
)]

max[H Px
(Y
)]

H
(Y
/
xi
)
于是问题就简化为求
［H（Y）］。
max Px
由信息论原理，当输出符号集的各符号等概出现时可得最大信源熵，即
H（Y）≤logQ 或者
max［H（Y）］=logQ
■
（2）BSC信道的容量
如何确定BSC的信道容量? 对于转移概率为p(0/1)=P（1/0）=P及P（0/0） =p（1/1）=1-P的BSC信道而言，当输出概率p （y0）=P（y1）=0.5时其平均互信息最大。所 以，BSC的信道容量是
H (Y / X ) p(xi ) p( y j / xi ) log p( y j / xi )
i
j
p( y j / xi ) log p( y j / xi )
j
H (Y / xi )
② 当信道输入符号等概分布时，信道输出符号也等概分布； 反之，若信道输出符号等概分布，信道输入符号必定也是等概分布。
I(X;Y)＝H(X)- H(X/Y)＝H(Y)-
H(Y/X) C max I ( X ;Y )
可得:
px
max[H (X ) H (X / Y )] px
max[H (Y ) H (Y / X )] px
信道容量是否存在 ?
• 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略)