17
H(Y) ( p p)log 1 ( p p)log 1
p p
p p
H( p p)
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
[ p log p p log p] H ( p)
信道输入是n元符号X∈{a1, a2, …, an} 信道输出是m元符号Y∈{b1, b2, …, bm} 转移矩阵
已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
p12
p21
a2
p22
:
:
:
an
有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
5
离散无记忆信道DMC
n
p( y j ) p(xi ) p( y j | xi ) i1
• 信道的信息传输率就是平均互信息
8
信道容量
信道容量C： 最大的信息传输率
C max I (X ;Y ) p(ai )
• 单位时间的信道容量：
1
Ct
T
max
p(ai )
I ( X ;Y )
9
信道容量的计算
对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道：
I (X ;Y ) H (Y ) H (Y | X ) H ( p p) H ( p)
1 H( p)
18
BSC信道容量
• BSC信道容量
C 1 H( p)
当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
1-H(p)
ω
19
BSC信道容量
pnm
m
p(bj | ai ) 1
j 1
i 1,2,n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。
I(X;Y)
i
j
p(xi ) p( y j | xi ) log
p(y j | xi ) p(y j )
对称离散信道的平均互信息为
I(X;Y) H(X ) H(X |Y) H(Y) H(Y | X )
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
i
j
p(bj | ai ) log p(bj | ai )
j
H (Y | ai ) i 1,2,n
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1 1 1 1
P
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
1
1
1
3 6 2
满足对称性, 所对应的信 道是对称离 散信道。
12
对称DMC信道
信道矩阵
1 1 1 1 P 3 3 6 6
1 1 1 1 6 3 6 3
0.7 0.1 0.2 P 0.2 0.1 0.7
• 强对称信道的信道容量：
C
log
2
n
H
(1
p,
n
p 1
,,
n
p) 1
16
BSC信道容量
设二进制对称信道的输入概率空间 信道矩阵：
X
P
0
1
P
1 p
p
p 1
p
p p
p p
1
p(b 0) p(ai ) p(b0 | ai ) p p i0
1
p(b 1) p(ai )p(b1 | ai ) p p i0
信道转移概率矩阵p(Y|X)：
描述输入/输出的统计依赖关系,反映信道统计关系p(Y|X) NhomakorabeaX
Y
信道
3
无干扰(无噪声)信道
无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就 确知Y 转移概率:
p(Y
|
X)
1, 0,
Y f(X) Y f(X)
4
有干扰无记忆信道
)
log
2
m
• 无噪有损信道(多对一)
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
11
3.2.1 对称DMC信道
对称离散信道： 对称性:
每一行都是由同一集{p1, p2,…pm} 的诸元素不同排列组成——输入
对称
每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称
• BSC信道容量
C 1 H( p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
信道无噪声
C
C =1－0 = 1bit = H(X)
信道强噪声
• 当p =1/2,
C 1 H(1,1) 0 22
H(Y | X ) H(Y | ai ) H( p1, p2, pm)
15
对称DMC信道
对称DMC信道的容量：
C log m H ( p1, p2 pm )
m
log m pij log pij j 1
• 上式是对称离散信道能够传输的最大的平均信息量,它
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p n p1 n 1
p n 1
p n 1
1 p
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
离散信道可分成： 无干扰(无噪)信道
无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道
10
无干扰离散信道
无噪无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
max
H
(Y
)
log
2
n
• 有噪无损信道(一对多)
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y