➢ 捕获鲈鱼和鲑鱼的几率相等。 P(1) = P(2) (先验) P(1) + P( 2) = 1 (排除其它鱼的种类)
7
仅含先验信息的判别规则(Decision rule)
➢ 如果P(1) > P(2) ，则选择 1 ➢ 否则，选择 2
采用类条件信息(class –conditional information)
14
平均错误概率
P(e) P(ex)p(x)dx
从式可知，如果对每次观察到的特征值x
，P(e|)
是尽可能小的话，则上式
的积分必定是尽可能小的这就证实了最小
错误率的Bayes决策法则。下面从理论上
给予证明。以两类模式为例。
15
P(e)P(xR2,1)P(xR1,2) P(xR2 1)P(1)P(xR1 2)P(2)
x 1 2
P (x 1 )P (1 ) P (x 2 )P (2 )
x 1 2
3.似然比
l(x)P P ( (x x 1 2) ) P P ( ( 1 2) )
4.似然对数
x 1 2
h (X ) ln l(X ())
ln p (X / 1 ) ln p (X /
5
决策准则
评价决策有多种标准，对于同一个问题， 采用不同的标准会得到不同意义下“最优 ”的决策。
Bayes决策常用的准则：
➢ 最小错误率准则
➢ 最小风险准则
➢ 在限定一类错误率条件下使另一类错误 率为最小的准则(Neyman—Pearson决策)
➢ 最小最大决策准则
6
2.1 引言
鲈鱼/鲑鱼例子 ➢ 自然状态(State of nature), 先验的(prior)---类别状态，i,i=1,2 ➢ 为i类先别验状概态率是。一个随机变量, P(i) 表示
3
基本概念
模式分类：根据识别对象的观测值确定其 类别
样本与样本空间：
xx1,x2, ,xdT x R n
类别与类别空间：c个类别（类别数已知）
1,2, , i ,c
4
决策
把x分到哪一类最合理？理论基础 之一是统计决策理论
决策：是从样本空间S，到决策空 间Θ的一个映射，表示为 D: S -> Θ
12
错误概率的最小化判定规则：
如果 P(1|x)>P(2|x)，判定为1； 否则，判定为2。
因此， P(error | x) = min [P(1 | x), P(2 | x)]
(基于最小错误的贝叶斯决策 Bayes decision)
13
对待分类模式的特征我们得到一个观察值 x ， 合理的决策规则： P(1 x)P(2 x) 1 P(1 x)P(2 x) 2
类条件概率密度=似然
10
11
基于后验分布的判别规则
存在一个观察值x(特征)
如果P(1 | x) > P(2 | x)
类别状态= 1
如果P(1 | x) < P(2 | x)
类别状态 = 2
因此，无论何时观测到某一个特定值x，
概率误差为：
P(error|x)=P(1|x) 判定为2 (错误选择1); P(error|x)=P(2|x) 判定为1(错误选择2 );
决策错误的条件概率（随机变量x 的函数）：
P(e
x)P P((12
x) x)
2 1
模式特征x 是一个随机变量，在应用Bayes法则时， 每当观察到一个模式时，得到特征x，就可利用后 验概率作出分类的决策，同时也会带来一定的错误 概率。若观察到大量的模式，对它们作出决策的平 均错误概率P(e)应是P(e|x)的数学期望。
最小风险贝叶斯决策正是考虑各种错误造成损失 不同而提出的一种决策规则。
20
上述思想一般化推广
➢ 采用多个特征(特征矢量)； ➢ 类别状态多于两个； ➢ 决策行动不局限于判定类别状态。 ➢ 引入损失函数(loss of function)代替误差概率。
决策行为不是以错误分类的概率为基础， 而是行为风险的代价为决策依据。
19
2.2 贝叶斯决策理论
上述分类基于错误率最小化的所得到规则，但有
时要考虑比错误率更广泛的概念-----风险。风险与
损失密切相连。
比如对细胞分类固然尽可能正确判断，但判错了 的后果将怎样？
正常异常：精神负担； 异常正常：失去进一步治疗的机会。
显然这两种不同的错误判断所造成损失的严重程 度是有显著差别的，后者的损失比前者更严重。
模式识别 Pattern Recognition
1
2 贝叶斯决策理论
引言 贝叶斯决策理论 最小误差率分类 分类器、判别函数及决策面 正态分布密度(The Normal Density) 正态分布的判别函数
2
2.1 引言
信号空间
数据获取
预处理
特征空间
特征提取 与选择
分类决策
分类器 设计
P(x|1)和P(x|2) 描述在鲈鱼和鲑鱼总群之 间光泽度的差异。
8
9
后验(Posterior), 似然(likelihood),全概 率( evidence---证据?)
Pi xpxpi(x•)Pi
对于两类的全概率为：
j2
P(x)P(x|j)P(j)
j1
后 验 (分 布 或 密 度 )似 全 然 概 先 率 验
p(x1)P(1)dx p(x2)P(2)dx
R2
R1
P(1)P1(e)P(2)P2(e)
16
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
R2
17
四种基于最小错误的Bayes决策形式
1.后验形式 2.先验形式
P(1 x) P(2 x)
2 ) ln P P ( ((1 2 ) ))
X

12
18
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。
解：先计算后验概率：
P (1x)2P P (x (x 1)jP )P ( ( 1)j)0.20 0..9 2 0 0 ..9 40.10.818 P (2x ) 1 P (1x ) 0 .1 8 2 j 1 因 为 P ( 1 x ) P ( 2 x ) , x 1 属 正 常 细 胞 。 因 为 P ( 1 ) P ( 2 ) , 所 以 先 验 概 率 起 很 大 作 用 。