第三节 贝叶斯（BAYES）判别法
贝叶斯判别准则 ● 基本问题 设有 k 个总体 G1 , G2 , ,G k ，其各自的分布密 度函数 f1 ( x), f 2 ( x), , f k ( x) 互不相同的，假设 k 个总体各自 出 现 的 概 率 分 别 为 q1 , q2 ,,q k （ 先 验 概 率 ） ， qi 0 ，
所以，
P( X Gi | X已知） = qi fi ( x)
k i i i 1
就是广义平 方距离Di2 ( x)
exp(0.5Di2 ( x))
k 2 i i 1
q f ( x) exp(0.5D ( x))

采用后验概率的判别准则为： 判 X Gh , 当 P(Gh | X ) P(Gi | X ) 时，(i h, i 1,, k ).
本章主要内容
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
贝叶斯判别法的基本思想
从第二节中可以看出：距离判别法虽然 简单，便于使用（对总体只涉及均值向量和协方差阵， 而对总体的分布类型不作要求）。但是该方法也有它 明显的不足之处： 首先，判别方法与总体各自出现的概率的大小无关；
② 利用训练样本中各类样品所占比例 ni 作为 qi ；即 qi ni n n k q 1 则 i 这时要求训练样本是通过随机抽样得到，各类样品被 i 1 抽中的机会大小就是“验前概率”； ③ 假定 q1 q2
qk
1 k
第三节 贝叶斯（BAYES）判别法
● 广义平方距离 设有k个总体 G1 , G2 , , Gk ，考虑个先验概率及其各组内协差阵的 不同，定义样品X到 G (i 1, 2, , k ) 的广义平方距离 D ( X , G ) 定义为
i 1
q1 , q2 , qk 为 G1 , G2 ,, Gk 的先验概率。
（2）先验概率的确定方法 先验概率是一种权重。所谓“先验” 是指先于我们抽取样本（做分析）之前，对总体“信息”的认知， 如：qi 是总体 Gi 出现的概率，其赋值方法可有一下常用方法：
① 利用历史资料及经验进行估计；
第三节 贝叶斯（BAYES）判别法
就是马氏 距离d i2 ( x)
fi ( x) (2 )
p/2
| i |
1/ 2
exp[0.5( X i ) ( X )]
1
P( X Gi | X已知） =
qi fi ( x)
k i i i 1
q f ( x) exp(0.5D ( x))
2 i i 1
第三节 贝叶斯（BAYES）判别法
● 先验概率（先知知识） （1）先验概率概念 设有k个总体 G1 , G2 ,.Gk ，假设对所研究的
问题有一定的认识，这种认识常用先验概率来描述，即已知这 k个 k q1 , q2 ,, qk ( qk 1) ，则称 总体各自出现的概率（先验概率）为：

exp(0.5Di2 ( x))
k
事实上，
第三节 贝叶斯（BAYES）判别法
qi fi ( x) (2 ) p / 2 | i |1/ 2 qi exp(0.5di2 ( x)) (2 ) p / 2 exp(0.5ln | i |) exp(0.5 (2 ln qi )) exp(0.5di2 ( x)) (2 ) p / 2 exp[0.5(di2 ( x) ln | i | 2 ln qi )] (2 ) p / 2 exp[0.5Di2 ( x)]
2
i
i
D2 ( X , Gi ) d 2 ( X , Gi ) g1 (i) g2 (i),
其中
g1 (i )
ln | i |, 若各组协差阵i不全相等， 0， 0，
若各组协差阵i 全相等； 若先验概率全相等.
g 2 (i )
-2 ln | qi |, 若先验概率不全相等，
● 问题引入
其次，判别方法与错判之后所造成的损失无关。
贝叶斯判别法就是为了解决这些问题而提出的一种判 别方法。
第三节 贝叶斯（BAYES）判别法
● 贝叶斯统计思想
在讨论问题之前，总是假定对研究对象已有一定的认 识，这种认识常用先验概率分布来描述。然后抽取一个 样本，用样本信息来修正已有的认识（即先验概率分 布），得到后验概率分布。各种统计推断都析就得 到贝叶斯判别法。
注：当总体协方差阵未知时，可用样本协差阵S i 代替 i 。
第三节 贝叶斯（BAYES）判别法
● 后验概率 标准的贝叶斯判别法应该计算后验概率分布，即计算当样品 X被 选取时，它来源于总体 G 的概率 P(Gi | X ) ，这个概率作为判别归 i 类的准则，其概率意义更加直观。现假定总体 Gi 的概率密度函数 为 fi ( x)，由条件概率的定义可以导出所谓“贝叶斯公式”：
■
q
i 1
k
i
1 。假设已知观测到一个样品 x 的情况下，应把它归
于哪个总体 Gi ？
第三节 贝叶斯（BAYES）判别法
（1）首先看一下利用后验概率给出的一个判别准则。 观测到一个样品时，可用著名的 Bayes 公式计算它 来自第i个总体的“后验概率”：
P( x Gi | x)
这时如果有
P( X Gi | X已知） = qi fi ( x)
q f ( x)
i i i 1
k
其中，条件概率 P(Gi | X ) 称为X属于第i组（或第i个总体）的后验 概率。
第三节 贝叶斯（BAYES）判别法
◆
例
若假设 Gi ~ N p ( i , i ) ，且其密度函数 fi ( x) 为
qi fi ( x)
q f ( x)
i i i 1
1 h k
k
,
i 1, 2,
,k
P( x Gh | x) max P( x Gh | x)
则判别样品 X 属于第 h 个总体