7
3.2.2 对称DMC信道
• 求得:
C I ( X ; Y ) 1 H ( ,1 ) 1 H ( ) C I ( X ; Z ) 1 H [ 2 (1 ), (1 ) ]
2 2
1 H [ 2 (1 )]
• 在实际通信系统中,信号往往要通过几个环节的 传输,或多步的处理,这些传输或处理都可看成 是信道,它们串接成一个串联信道。
i
1 p (b j / ai ) n i
12
3.2.3
准对称DMC信道
准对称DMC信道容量：
C log m H ( pi1 , pi 2 pim ) log m pij log pij
j 1 m
13
• 例3-5 已知一个信道的转移概率矩阵， 求信道容量。
P 0.5 0.3 0.2 0.3 0.5 0.2
• 那么信道的互信息量为：
I( X ;Y ) H(Y ) H(Y / X ) p( b j )log p( b j ) p( ai ) p( b j / ai )log p( b j / ai )
j i j
• 上式对a求导，可求出当a=0.5时，互信 息量达到最大值0.036bit/符号；但此时 输出信号的概率分别是0.4,0.4,0.2 。
• 无噪有损信道
C max I ( X ; Y ) max H (Y ) log 2 m
p ( ai )
• 有噪无损信道
C max I ( X ; Y ) max H ( X ) log 2 n
p ( ai )
3
3.2.2 对称DMC信道
• 对称离散无记忆DMC信道的容量：
• 串联信道的转移矩阵为:
0Z
1
1-
2 2 1 1 (1 ) 2 (1 ) P P1 P2 2 2 1 1 2 (1 ) (1 )
• 离散无记忆二进制BSC信道容量：
c log 2 H (1 , ) 1 H ( )
5
3.2.2 对称DMC信道
• 由信息不增原理，串联信道容量满足：
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1, 2 ) max I ( X ; Z ) C (1, 2 , m ) max I ( X ; W )
• 串接的信道越多,其信道容量可能会越小,当串接 信道数无限大时,信道容量可能会趋于0
X
信道1
Y
信道2
Z…
信道m
W
6
3.2.2 对称DMC信道
• 例3-3 设有两个离散BSC信道,串接如图,两个 BSC信道的转移矩阵为:
X0

1 1
第三章
信道与信道容量
内容
3.1 3.2 3.3 信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量
3.4
连续信道及其容量
2
3.2.1
• 无噪无损信道
p ( ai )
无干扰离散信道
C max I ( X ; Y ) max H ( X ) max H (Y ) log 2 n
8
3.2.2 对称DMC信道
• m个二进制离散对称（BSC）信道串联后 的互信息量与错误概率之间的关系；
9
3.2.3
准对称DMC信道
• 准对称DMC信道： • 如果转移概率矩阵P是输入对称（每行所包 含的元素一样），但输出不对称（每列所包 含的元素不一样） • 例如： P1 1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
i j
p (b j | ai ) log p (b j | ai )
j
H (Y | ai ) i 1,2, n
H (Y | X ) H (Y | a i ) H ( p i1 , p i 2 , p im )
11
3.2.3
准对称DMC信道
p ( ai )
• 准对称离散无记忆（DMC）信道的信道容量为：
P2 0.7 0.1 0.2 0.2 0.1 0.7
10
3.2.3
准对称DMC信道
• 准对称离散信道的平均互信息为
I ( X , Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
H (Y | X ) p ( ai ) p (b j | ai ) log p (b j | ai )
C＝max I ( X ; Y ) max[ H (Y ) H (Y | X )]
p ( ai ) p ( ai )
max H (Y ) H (Y / X )
• 假如输入信号是等概率出现的，那么输出信号不
是等概率的，此时H(Y)不会达到最大值；
p (b j ) p (ai ) p (b j / ai )
C log m H ( pi1 , pi 2 pim ) log m pij log pij
j 1 m
• 它只与对称信道矩阵中行矢量{pi1, pi2,…pim } 和输出符号集的个数m有关。
4
3.2.2 对称DMC信道
• 强对称信道的信道容量：
C log 2 n H (1 , , , ) n 1 n 1
解：假设信道的输入符号有两个，可设 p(a1)＝，p(a2)＝1－， 信道的输出符号有三个，用b1、b2、 b3表示，
p(b j ) p(ai ) p(b j / ai )
i
14
• 那么输出每个符号的概率为：
p(b1 ) 0.5 0.3(1 ) 0.3 0.2 p(b2 ) 0.3 0.5(1 ) 0.5 0.2 p(b3 ) 0.2 0.2(1 ) 0.2