2.2.1基于最小错误率的贝叶斯决策
只以先验概率决策存在问题
• 假设已知出现鲈鱼的先验概率为P(ω1)和 出现鲑鱼的先验概率为P(ω2)。
• 在两类别问题中存在 • P(ω1)+ P(ω2)=1
2.2.1基于最小错误率的贝叶斯决策
只以先验概率决策存在问题
• 若P(ω1)> P(ω2)，ω=ω1； • P(ω1)< P(ω2)，ω=ω2。 • 如果P(ω1)=0.9 ， P(ω2)=0.1， • P(ω1)> P(ω2)，出现的鱼归为鲈鱼。如果仅做
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
• 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
第二章 贝叶斯决策理论
2.1 引言 2.2几种常用的决策规则 2.3正态分布时的统计决策 2.4关于分类器的错误率问题
2.1 引 言
模式识别的分类问题是根据识别对象特 征的观察值将其分到某个类别中去。
例：医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病。
两类的识别问题。
2.1 引 言
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000， 方差1000的正态分布；未患病的人，白 细胞的浓度服从均值7000，方差3000的 正态分布；一般人群中，患病的人数比 例为0.5%。
一个人的白细胞浓度是3100，医生应该 做出怎样的判断？
2.1 引 言
贝叶斯决策理论
2.2 几种常用的决策规则
2.2.1基于最小错误率的贝叶斯决策
• 利用概率论中的贝叶斯公式，得出使错 误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。
2.2.1基于最小错误率的贝叶斯决策
举例说明
• 以鱼分类为例说明解决问题的过程。 • 假设已抽取出d个表示鱼的特征，成为一个d维
空间的向量x，目的是要将x分类为鲈鱼或者鲑 鱼。 • 如果用ω表示状态，就是将x归类于两种可能的 自然状态之一，则
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
• 条件概率P(ωi|x)称为状态的后验概率 • 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
贝叶斯决策理论方法的假设：
– 各类别总体的概率分布是已知的； – 要决策分类的类别数是一定的。
在连续情况下，假设要识别的对象有d种特征 量x1，x2，…，xd，这些特征的所有可能的取值 范围构成了d维特征空间，称 x = [x1，x2，…，xd]T 为d维特征向量。
2.1 引 言
假设说明
假设要研究的分类问题有c个类别ωi，i =l， 2，…，c；对应于各个类别ωi出现的先验概率 P(ωi)及类条件概率密度函数p(x/ωi)是已知的。
2.2.1基于最小错误率的贝叶斯决策
图2.1 类条件概率密度函数图 概率函数已经归一化，每条曲线下的面积为1
2.2.1基于最小错误率的贝叶斯决策
• 已知：状态先验概率P(ωi)，i=1，2。 • 类条件概率密度p(x|ωi)，i=1，2，利用贝
叶斯公式
P(i | x)
p(x | i )P(i )
根据贝叶斯决策规则(2)，有
P(ω1|x) = 0.818 > P(ω2|x) = 0.182 所以合理的决策是把 x 归类于正常状态。
2.2.1基于最小错误率的贝叶斯决策
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
• 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
2.2.1基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策规则为： 如果P(ω1|x)> P(ω2|x)，则把x归类于 鲈鱼ω1； 反之P(ω1|x)< P(ω2|x)，则把x归类于 鲑鱼ω2。
上面的规则可简写为：
⑴如果 P(ωi|x)=
max j1,2
P(ωj|x)，则x∈ωi
2.2.1基于最小错误率的贝叶斯决策
2.2.1基于最小错误率的贝叶斯决策
• 解：利用贝叶斯公式，分别计算出ω1及 ω2的后验概率。
P(1 | x)
2
p(x | 1)P(1) p(x | j )P( j
)

0.2 0.9 0.2 0.9 0.4
0.1

0.818
j 1
P(ω2|x)=1－ P(ω1|x)=1－0.818=0.182
如果在特征空间已观察到某一向量x， x = [x1，x2，…，xd]T
那么应该把x分到哪一类去才是最合理呢？ 这就是本章所要研究的主要问题。
2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 极小化极大决策 序贯分类方法