第2章 贝叶斯决策理论
模式分类实际上是将特征空间划分为不同的决策区域, 相邻决策区域被决策面所分割, 这些决策面是特征空间中 的超曲面, 其决策面方程满足相邻两个决策域的判别函数 相等,
gi(x)=gj(x) 分类器可被看做是一个计算m类个判别函数并选取最 大(或最小)判决值对应的类别的网络或机器。 一个分类器 的网络结构如图2-1所示。
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 习题
第2章 贝叶斯决策理论
2.1 分类器的描述方法
2.1.1 基本假设
给定模式空间S，由m个互不相交的模式类集合1,2, ,m
(3)
m Ri Rd 。 若
m
Ri
Ri为Rd的真子集, 即 Rd m Ri
,
i 1
i 1
i 1
当样本落在此区域中时, 样本对应的模式不是m类中的任何一种,
可以把它称为拒绝类,
m
Rd Ri
i 1
为拒绝域, 相应的判决为
拒识。 此时, 引入一个新类ωm+1(拒绝类), 相应的决策区域为
第2章 贝叶斯决策理论
总的产品个数n=2 253 550; 属于类ω1产品的个数 n1=901 420; 属于类ω2产品的个数 n2=1 352 130; 由此可以估计出两类产品出现的概率,
P(1) n1 / n 0.4
P(2 ) n2 / n 0.6
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
如果不考虑拒识, 此时,
m
Ri Rd , 那么, 正确分类包
i 1
括m种情形, 样本x来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错
误分类包括m(m－1)种情形, 样本x来自类ωi, 但特征向量
x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概
第2章 贝叶斯决策理论
3. 把分类问题对应为Rd空间上的多元函数, 通常称为判别 函数(或称判决函数)gi(x), i=1, 2, …, m 对于任给未知 类别的样本x, 计算各类判别函数的值gi(x), i=1, 2, …, m, 将样 本x判属有极大(或极小)函数值的那一类。 到底应取极大值 还是取极小值, 需要根据具体问题的物理意义确定。 不同的 判别函数对应不同的模式分类方法。
第2章 贝叶斯决策理论
2.1.2
模式分类器的描述方法有多种, 这里仅介绍以下三种描 述方法, 它们之间是统一的。
1. 由于我们获取的有关观察对象的数据总量是有限的, 因 此, 可用一个d+1维向量表示, 即
(x1, x2, , xd ; )
第2章 贝叶斯决策理论
其中: (x1, x2, …, xd)为特征向量, 是特征空间Rd中的一个点; α 取值于集合{1, 2, …, m}, 表示模式的真实类别号, 是未知 的量, m为类别数。 模式分类的实质在于实现特征空间Rd到 类别号空间{1, 2, …, m}的一个映射, 即
Rd→{1, 2, …, m} 给定一个映射f, 就给出了一种模式识别方法, 不同的映射 对应不同的分类方法, 这就是模式识别问题的映射描述法。
第2章 贝叶斯决策理论
2. 划分描述法 由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映射，通过映射，本质上实现了对空间Rd 的一种划分，即把Rd划分成个不相重叠的区域，每一个区域 对应一个类别。设区域Ri对应第i类ωi，则以下条件成立：
组成，即 S 1 2
m ，i j , (i j, i, j 1, 2, , m) 。
几个基本假设如下：
(1) 假定类ωi的先验概率为P(ωi); (2) 样本(或模式) x由特征向量来表示, 同样记为x, 假设
为d维, 即x=(x1, x2, …, xd);
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
图 2-1 分类器的网络结构
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则
2.2.1
在讨论具体的判决准则之前, 让我们先来看一个分类 问题。 假设某工厂里所有的产品都只属于事先确定的两类, 分别表示为ω1=“高质量”, ω2=“平均质量”。 假设工厂对 于产品储量有一个合理的长期记录, 总结出来的结果如下：
Hale Waihona Puke 率Pcmm
Pc i1 P(x Ri | i )P(i ) i1 P(i ) Ri p(x | i )dx
(2-1)
第2章 贝叶斯决策理论
平均错误概率Pe
Pe=1－Pc
(2-2)
以下不再刻意区分样本(或模式)和特征向量, 也就是说,
x∈ωi意指x是样本(或模式); x∈Ri或函数g(x)意指x是特征向 量。
(1) Ri Rj , i j i, j 1, 2, , m 这一条表明了分
类的确定性，一个样本只能属于某一类，不能同属两个或多 个类别。
第2章 贝叶斯决策理论
(2) 若特征向量x=(x1, x2, …, xd)落在区域Ri内, 即x∈Ri, 则将
样本x判属第i类, 记为x∈ωi; 此时, Ri称为x∈ωi的决策区域。
m
Rm1 Rd Ri 。
i 1
第2章 贝叶斯决策理论
当样本落在两类或多类的交界面上时, 可以任取交界 面所在的一类进行判决, 也可以拒绝判决。 从划分意义上 看, 模式识别就是对于一个具体分类问题, 在确定了需分类 的类别数m和所用的特征维数后, 实现对Rd空间的划分, 每 一种划分对应一种识别方法。
(3) 特征向量x的取值范围构成特征空间, 记为Rd; (4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示当 样本x∈ωi时, 特征向量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量x出 现的条件下, 样本x来自类ωi的概率, 即类ωi出现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准则把样 本x划分到ω1，ω2, …, ωm中的一个。