本章主要内容
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
中与下标h无关的项部分。所以
,k
y(Gh | x) max{ y(Gi | x)}
则把样品x归于第h个总体 Gh .
第三节 贝叶斯（BAYES）判别法
●
假设协方差阵 i (i 1, 2, , k ) 不全相等
①如果总体的所有协方差阵都已知，则有
ln qh f h ( x) C0 1 1 [2 ln qh ln | h | ( x ( h ) ) h ( x ( h ) )] 2 C0 Z h ( x),
h
h
第三节 贝叶斯（BAYES）判别法
令
Z (Gh | x) ln[qh f h ( x)] ln qh p 1 1 ln(2 ) ln | h | { 2 2 2 }
在上式中去掉与h 无关的项后，得到
1 1 1 1 1 ( h ) 1 ( h ) Z * (Gh | x) ln qh ln | h | xh x ( ( h ) )h xh 2 2 2
P(Gh | x)
qh f h
qh f
i 1
k

exp[ y (Gh | x) ( x)]
exp[ y(G | x) ( x)]
i i 1
k

exp[ y (Gh | x)] exp[( x)]
k i i 1
exp[ y(G | x)] exp[( x)] exp[ y(G | x)]
2
第三节 贝叶斯（BAYES）判别法
●
后验概率 P(Gh | x) 与判别函数 y(Gh | x)之间关系
做计算分类时，主要依据判别函数 y(Gh | x) 的值的大
小，但它毕竟不是后验概率 P(Gh | x) ，这是否影响分类 判别？下面我们看一下两者之间的联系。 结论3.1
P(Gh | x) exp[ y (Gh | x)]
i i 1

exp[ y (Gh | x)]
k
第三节 贝叶斯（BAYES）判别法
由此可知，使 y(Gh | x) 达到最大的h，亦可使 P(Gh | x) 达 到最大，因此判别方法是只需把样品指标值代入到判别式 中，分别计算如下k个值，即
y(Gh | x), h 1, 2,
并且若
1i k
第三节 贝叶斯（BAYES）判别法
这个判别函数也可写成线性函数形式，即
y(Gh | x) Ch 0 xCh ,
其中
1 Ch 0 ln qh ( ( h ) ) 1 ( h ) , 2 Ch 1 ( h ) (Ch1 , Ch 2 ,
def
, Chk )
当参数未知时，由样本计算第h个总体的样本均值
X ( h) (h 1, 2, , k ) 和合并样本协方差阵 1 S ( S1 S2 Sk ) nk
第三节 贝叶斯（BAYES）判别法
计算 ln qi fi ( x) 时 ，把样本均值和合并样本协方差阵
代入，即得贝叶斯判别解 D* {D1* , , Dk*}为
* Dh {x | y(Gh | x) y(G j | x), j h, j 1, 2,
, k} (h 1, 2,
, k)
其中 y(G j | x) C j 0 C j x ，并称 y(G j | x) 为线性判别函 def 数，而称Cj S 1 X ( j ) (C j1 , C j 2 , , C jk ) 为判别系数，同 时称 C j 0 ln q j 1 ( X ( j ) )S 1 X ( j ) 为常数项。
1 1 1 这时很容易看到， Z * (Gh | x) 中的 ln | h |, x x h
与 h都无关，故考虑最大值时都可去掉，得到最终判 别函数为（线性的）
1 ( h ) 1 ( h ) 1 ( h ) yh (Gh | x) ln qh 2 ( ) x , yh (Gh | x) max, h 1,2, , k h
◆ 判别函数的导出
qh 和密度函数 f 待判总体的先验概率
P元正态分布的密度函数为
要想确定后验概率，首先要知道
h
( x)
1 1 f h ( x) (2 ) p / 2 | h |1/ 2 exp ( X ( h ) ) h ( X ( h) ) 2