pe Q(m) pem m1
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
Fano不等式和信道编码逆定理
p K 1

(N

d ( y,
xm ))ln(1
p)
N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
Y m : l n p ( y | x m ) > l n p ( y | x m ’ ) 给定m,错误概率
pem p( y | xm ) yYmC M
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)

H ( pb )

1 L
Байду номын сангаас
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L

H
L
(U
)

1 L
I
(
X
N
;Y
N
)

HL
(U
)

N L
C
信道编码逆定理
• 离散平稳源有M个字母熵为HL(U),信道容量为C,当HL(U)>(N/L)C时,误码率为非零值
信道编码定理
• R<C时，R是可达的，即对信息速率R,任意给定的e>0，存在编译码方法，当N足够大，p<e
最小汉明距离译码
汉明距离 d(x,y), x,y中 分量不同的数目
码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1

d ( y,
xm ) ln
第五章 信道编码定理
• 1.离散信道编码问题 • 2.信道译码 • 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
k0 K
纠错编码器
• 送给纠错编码器的消息是经过最佳信源编码后，信 息速率为比特/秒的离散二元或q元数字序列。
• 分组码 每K个信息数字为一组，计算出N个编码数字，称 这些数字为一个码字。通常N为整数。
译码准则
最小错误概率译码：是 pe(y)最小
最大后验概率译码：选 最大
pr (m'| y) pr (m | y)
最大似然译码
p(m | y) Q(m) p( y | m) p( y)
p( y | m') p( y | m)
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
• 卷积码 • 输出的n0长码段不仅依赖于当前的k0位信息数字，
还依赖于前m个信息段的信息数字，即总共与（m ＋1）k0个信息数字有关。
纠错编码器
R＝K/N，码率 误组率 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)