根据贝叶斯定理，上式可写成
P(bj /a*)P(a*)P(bj /ai)P(ai)
P(bj)
P(bj)
P (b j/a * )P (a * ) P (b j/a i)P (a i)
即
P(a*bj)P(aibj)
最大似然译码准则
当信源等概分布时，则最小错误概率准则变为
P(bj /a*)P(bj /ai) 这称为最大似然译码准则，方法是收到一个 b j 后，在信道矩
0.3 0.3 0.4
F (b1) a1
1）若根据最大似然准则选择译码函数为B：
F
(b2 )
a3
若输入等概率，则平均错误概率为
F ( b 3 ) a 2
P E 1 3 Y ,X a * P ( b /a ) 1 3 [ ( 0 .2 0 .3 ) ( 0 .3 0 .3 ) ( 0 .2 0 .4 ) ] 0 .5 6 7
（选讲）当然，也可以对联合概率矩阵[P(ai)P(bj/ai)]中： 1）先求每一行中除去F(bj)=ai*所对应的P(aibj)以外的元素之和; 2）然后，对各行的和求和。
具体计算如下：
P E P ( a i) P ( b j|a i)
P ( a i) P ( b j|a i)
Y ,X a *
X Y ( a * 对 b j) 应的
即： P E P ( a i) P ( b j/a i) F ( b j) a
X
Y
P(ai)Pe(i) X
如果先验概率相等，则：PE
1 r
X
P(i) e
某个输入符号ai传输引起的 错误概率
例：某信道
0.5
P
0
.2
0.3 0.3
0.2
0
.5
j1
条件正确概率
s
s
P(bj)mi1n P ((ai/bj)) P(bj)1maP(xai/bj)
j1
j1
因此应选择译码规则 F(bj ) a* 满足关系：
i为待定
P (a * /b j) P (a i/b j)
a i a * a*,ai A,bj B
也即收到一个符号以后译成具有最大后验概率的那个输入符号。
若输入不等概分布 P(a1)1 4,P(a2)1 4,P(a3)1 2，则错误概率为：
P E '' P (a)P (b|a) Y,X a*
1/4 (0 .30 .2 ) 1/4 (0 .30 .3 ) 1/2 (0 .20 .5 )0 .6
2）采用最小错误概率译码准则，则联合矩阵为：
P E P (0 )P e (0 ) P ( 1 )P e (1 ) 3 2 (P (0 ) P ( 1 ) )2 /3
反之，若收到“0”译P E P ( 0 ) 1 P e ( 0 ) P ( 1 ) 1 P e ( 1 ) 1 3 ( P ( 0 ) P ( 1 ) ) 1 /3
j1
它表示经过译码后平均每收到一个符号所产生错误的大小， 也称平均错误概率。
最小错误概率准则（最大后验概率准则）
如何设计译码规则 F(bj ) ai ，使平均错误概率最小？
s
决定于译码规则
P EEP(e/bj) P(bj)P(e/bj)
j1
s
miPE n P(bj)miPn(e/bj) 条件错误概率
F(b1) a1 F(b2) a3 F(b3) a2
总的译码规则数目 r s
信道的s个输出符号的每一个译码输出有 r 种选择，因此，总的
r 译码规则总数为 s
译码规则的选择依据
一个自然的依据就是使平均错误概率最小。 为了选择译码规则，需要计算平均错误概率。
平均错误概率分析：
译码规则确定后，设信道输出端收到 b j 时一定译为 a i 。 如果发送端刚好发送的就是 a i ，则为正确译码，译码的条件正
可见错误概率与译码规则有关。
译码规则： 输入符号集 输出符号集 译码规则
A{ai}i,1,2,.r.. B{bj},j1,2,.s..
F(bj ) ai
例：某信道转移矩阵
0.5 0.3 0.2
P
0
.2
0.3
0.5
0.3 0.3 0.4
可以设计译码准则： A： 和
B：
F(b1) a1 F(b2) a2 F(b3) a3
确概率为：
P (F(bj)/bj)P (ai/bj)
而错误译码的概率为收到 b j 后翻译为 a i ，但发送端实际上
发送的却不是
a
，则为错误译码，其条件错误概率为：
i
P(e/bj)1P(ai/bj)
e表示：除了 F(bj ) ai 以外的所有输入符号的集合。
则可得平均错误译码概率：
s
P EEP(e/bj) P(bj)P(e/bj)
前面已经从理论上讨论了，对于无噪无损信道 只要对信源进行适当的编码，总能以信道容量无差 错的传递信息。但是一般信道总会存在噪声和干扰， 信息传输会造成损失。
那么在有噪信道中怎样能使消息传输发生的错误 最少？进行无错传输的可达的最大信息传输率是多 少呢？
这就是本章所要讨论的问题。本章的核心是香农 第二定理。
阵的第j列元素中选择最大的值所对应的输入符号作为译码输出。
平均错误概率的计算
当译码规则确定后，可进一步计算平均错误概率：
P E P ( b j) P ( e / b j) { 1 P [ F ( b j) / b j] } P ( b j)
Y
Y
1 P[F(bj)bj] p(aibj) P[F(bj)bj]
6.1 错误概率与译码规则
为了减少传输错误，提高通信的可靠性，就必须分 析错误概率与哪些因素有关，有没有办法控制？能控制 到什么程度？
一般地，错误概率与如下因素相关： ➢信道的统计特性 ➢译码规则
例：有一个BSC信道，如图所示
P(0)
信源
P(1)
0
1/3
2/3
2/3 1
1/3
0译码 0
1
1
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
Y
X,Y
Y
p(aibj) P[a*bj]
X,Y
Y
平均正确概率
P (a ib j) P (a i)P (b j|a i)
Y ,X a *
Y ,X a *
信道传递概率
上式中，平均错误概率计算是在联合概率矩阵[P(ai)P(bj|ai)]中： 1）先求每一列除去F(bj)=a*所对应的P(a*bj)以外的元素之和； 2）然后，对所有列求和。