a1 0.5
b1
0.5
a2
0.5
b2
无噪无损信道：错误概率0 P=0.5的二元对称信道：错误概率50%
-信息论基础 李富年 武汉科技大学
信道 编码器
f
译码规则
X
信道
Y
A {a1,a2,.....ar}
B {b1,b2,.....bs}
信道 译码器
F
A {a1,a2,.....ar}
噪声
b1
p(b2 | ar )
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
在这么多种译码规则中，我们选择哪一种?
选择的标准是什么？
当然希望译码后的错误概率越小越好.
-信息论基础 李富年 武汉科技大学
译码规则
对于确定 b j ，制定译码函数 F(bj) ai 译码正确的概率是 p(ai|bj)p [F (bj)|bj] 译码错误的概率是
-信息论基础 李富年 武汉科技大学
b1
b2
F F
(b1 ) (b2 )
a2 a1
错误概率下降为0.01
译码规则
对于一个 rs的传递矩阵，译码规则共有 r s 种
b1
b2
bs
a1 p(b1 | a1)
a2 p(b1 | a2)
ar
p(b1 |
ar
)
p(b2 | a1) p(b2 | a2)
F (b j)a i j 1 ,2 K s
b1
a1 p(b1 | a1) a2 p(b1 | a2)
ar
p(b1 |
ar
)
信息论基础 李富年 武汉科技大学
b2
p(b2 | a1) p(b2 | a2)
p(b2
|
--
ar
)
bs
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
解调器
信 噪声 干
道
扰
源
S＋N
有噪信道编码
信源编码：有效性 信道编码：可靠性
是否 可以编码成0 1 000 111 有效性：0 1 更好 可靠性：000 111 更好，提供纠错功能
-信息论基础 李富年 武汉科技大学
有噪信道编码
有效性，可靠性很难兼顾。提高有效性， 需要消除冗余；提高可靠性，需要适当增 加冗余。
a1 p(b1 | a1)
a2 p(b1 | a2)
ar
p(b1 |
ar
)
信息论基础 李富年 武汉科技大学
b2
p(b2 | a1)
p(b2 | a2)
p(b2--| ar )
bs
p(bs | a1)
p(bs | a2)
p(bs |
ar
)
译码规则
“译码规则”：设计一个函F数(b j ) ，对于每一 个输出符号b j ，确定唯一的输入符号a i 与之 对应
香农第二定理，在理论上很好的统一了有效 性和可靠性，使信息传输率达到信道容量的情 况下，还能够无失真的在有噪信道中传输。
-信息论基础 李富年 武汉科技大学
错误概率及相关因素
与以下三个因素有关： 信道特性 译码规则 编码方法
-信息论基础 李富年 武汉科技大学
信道统计特性
a1
1
b1
1
a2
b2
0.5
j 1
s
p[b j F (b j )]
j 1
称为正确概率
等输入概率情况下
PE
1 r
s j1
p[bj
|
F(bj )]
技巧：一般都不直接 PE ，而是先算 P E 然后求用
PE 1PE
-信息论基础 李富年 武汉科技大学
08
a1
0.2
0.1
a2
0.9
译码规则－例
b1
b2
X P(X)
a1 0.4
a2 0.6
译码规则
a1
1
b1
a2
F F
(b1 ) (b2 )
a1 a2
错误概率为0
信息论基础 李富年 武汉科技大学
1
b2
F F
(b1 ) (b2 )
a2 a1
错误概率为1
--
译码规则
二元对称信道a 1
0.01 0.99
F F
(b1 ) (b2 )
a1 a2
0.99
a2
0.01
错误概率为0.99
p ( e |b j) 1 p ( a i|b j) 1 p [ F ( b j) |b j]
称为条件错误概率
因为输出信号是个随机变量，b j 只是其中一个符号
定义平均错误概率
s
PEE[p(e|bj)] p(bj)•p(e|bj)
信息论基础 李富年 武汉科技大学
--
j1
译码规则
s
s
PE p(bj ) • p(e | bj ) p(bj ) •{1 p[F (bj ) | bj ]}
第五章 有噪信道编码
错误概率及相关因素 如何使信号经过传输后，错误概率最
信道小编码定理 在有噪信道中，无差错传输的最大信
息量有多大
线性分组码 实用编码范例
-信息论基础 李富年 武汉科技大学
有噪信道编码
编码器
等效信道Biblioteka 消息信号S信源
信源编码器
信道编码器
调制器
消息
信宿
信源解码器
信道解码器
解码器
-信息论基础 李富年 武汉科技大学
) )
a1 a1
先计算译码正确的概率
s
PE(F1) p[bjF(bj)] p(a1,b1) p(a1,b2)
j1
p(a1)p(b1 |a1) p(a1)p(b2 |a1) 0.4*0.80.4*0.20.4
PE(F1)1PE(F1)0.6
同理 PE(F2)0.4 PE(F3)0.14 PE(F4)0.86
F1
:
F F
(b1) (b2 )
a1 a1
F2
:
F(b1) F (b2 )
a2 a2
F3
:
FF((bb12))
a1 a2
F4
:
F F
(b1) (b2 )
a2 a1
计算各种译码规则对应的平均差错概率
-信息论基础 李富年 武汉科技大学
译码规则－例
对于规则一(F1) ：
F F
( (
b1 b2
p(e|bj)1p [F (bj)|bj]
使p(e | bj )最小就是要使 p[F(bj)|bj] 最大
-信息论基础 李富年 武汉科技大学
最小错误概率准则
平均错误概率定义后，一个很自然的准则就是
使平均错误概率最小，即最小错误概率准则
s
P EE [p(e|bj)] p(bj)•p(e|bj) j 1
平均错误概率是一个求和式，每一项都是非负 的,如果每一项都为最小，则整个求和式最小.
求和式的每一项 p(bj)•p(e|bj) ,其中 p(b j )与译码 规则无关
j 1
j 1
s
s
p(bj ) p(bj ) • p[F (bj ) | bj ]
j 1
j 1
s
1 p(bj ) • p[F (bj ) | bj ] j 1
s
1 p[bj F (bj )] j 1
-信息论基础 李富年 武汉科技大学
正确概 率
译码规则
s
PE
p(b j ) • p[ F (b j ) | b j ]