P(1) n1 / n 0.4
P(2 ) n2 / n 0.6
情形1:假设在没有看到一个具体的产品时就要确定它到底属于哪一类。 如果唯一能够得到的信息就是先验概率, 那么一个很自然的“合理”选择是将 这一产品归入类ω2。 可以想象, 这时可能造成40%的错误率。
如果我们仅仅需要做一次判断, 那么采用这种判决规则还是合理的。 但 是, 如果要求我们进行多次判断, 那么重复使用这种规则就不合适了, 因为我 们将一直得到相同的结果。
。 m Rd Ri
i 1
m
Rm1 Rd Ri
i 1
当样本落在两类或多类的交界面上时, 可以任取交界面所在的一类进行判 决, 也可以拒绝判决。 从划分意义上看, 模式识别就是对于一个具体分类问题, 在确定了需分类的类别数m和所用的特征维数后, 实现对Rd空间的划分, 每一种 划分对应一种识别方法。
模式分类实际上是将特征空间划分为不同的决策区域, 相邻决策区域被决 策面所分割, 这些决策面是特征空间中的超曲面, 其决策面方程满足相邻两个 决策域的判别函数相等,
gi(x)=gj(x) 分类器可被看做是一个计算m类个判别函数并选取最大(或最小)判决值对 应的类别的网络或机器。 一个分类器的网络结构如图2-1所示。
x∈ωi; 此时, Ri称为x∈ωi的决策区域。
(3)
。若
Ri为Rd的真子集, 即
, 当样本落在此区域中
m
m
m
时, d Ri 为
i 1
i 1
i 1
拒绝域, 相应的判决为拒识。 此时, 引入一个新类ωm+1(拒绝类), 相应的决策区域为
图 2-1 分类器的网络结构
2.2 最大后验概率判决准则
2.2.1
在讨论具体的判决准则之前, 让我们先来看一个分类问题。 假设某工厂里 所有的产品都只属于事先确定的两类, 分别表示为ω1=“高质量”, ω2=“平均质 量”。 假设工厂对于产品储量有一个合理的长期记录, 总结出来的结果如下：
总的产品个数n=2 253 550; 属于类ω1产品的个数 n1=901 420; 属于类ω2产品的个数 n2=1 352 130; 由此可以估计出两类产品出现的概率,
Rd→{1, 2, …, m} 给定一个映射f, 就给出了一种模式识别方法, 不同的映射对应不同的分类方 法, 这就是模式识别问题的映射描述法。
2. 划分描述法
由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映
射，通过映射，本质上实现了对空间Rd的一种划分，即把Rd划分成个不相重叠的
区域，每一个区域对应一个类别。设区域Ri对应第i类ωi，则以下条件成立：
(1)
这一条表明了分类的确定性，一个样
本只能属于某一类，不能同属两个或多个类别。
Ri Rj , i j i, j 1, 2, , m
(2) 若特征向量x=(x1, x2, …, xd)落在区域Ri内, 即x∈Ri, 则将样本x判属第i类, 记为
如果不考虑拒识, 此时,
,m 那Ri么, R正d确分类包括m种情形, 样本x
来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错i误1 分类包括m(m－1)种情形, 样本x来自
类ωi, 但特征向量x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概
2.1.2
模式分类器的描述方法有多种, 这里仅介绍以下三种描述方法, 它们之间是统 一的。
1. 由于我们获取的有关观察对象的数据总量是有限的, 因此, 可用一个d+1维向 量表示, 即
(x1, x2, , xd ; )
其中: (x1, x2, …, xd)为特征向量, 是特征空间Rd中的一个点; α取值于集合{1, 2, …, m}, 表示模式的真实类别号, 是未知的量, m为类别数。 模式分类的实质在于 实现特征空间Rd到类别号空间{1, 2, …, m}的一个映射, 即
(3) 特征向量x的取值范围构成特征空间, 记为Rd; (4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示当样本x∈ωi时, 特征向 量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量x出现的条件下, 样本x 来自类ωi的概率, 即类ωi出现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准则把样本x划分到ω1，ω2, …, ωm中的一个。
情形2:假设可以对产品进行一些测量, 获得了它的观测向量(或特征向量)x, 这时意味着对该产品所属类别的不确定性减少了, 即观测向量(或特征向量)能 够提供一些类别信息。 具体地, 后验概率P(ωi|x)表示了x所代表的某个产品属 于第i类的概率, 那么现在“合理”的选择是:
如果P(ω1|x)>P(ω2|x), 则判决x属于ω1; 如果P(ω1|x)<P(ω2|x), 则判决x属于ω2; 如果P(ω1|x)=P(ω2|x), 则判决x属于ω1或属于ω2。 这种决策称为最大后验概率判决准则, 也称为贝叶斯(Bayes)判决准则。 假设已知P(ωi)和p(x|ωi)(i=1, 2, …, m), 最大后验概率判决准则就是把样本x归 入后验概率最大的类别中, 也就是,
率Pc
m
m
Pc i1 P(x Ri | i )P(i ) i1 P(i ) Ri p(x | i )dx
(2-1)
平均错误概率Pe
Pe=1－Pc
(2-2)
以下不再刻意区分样本(或模式)和特征向量, 也就是说, x∈ωi意指x是样本
(或模式); x∈Ri或函数g(x)意指x是特征向量。
3. 把分类问题对应为Rd空间上的多元函数, 通常称为判别函数(或称判决函 数)gi(x), i=1, 2, …, m 对于任给未知类别的样本x, 计算各类判别函数的值 gi(x), i=1, 2, …, m, 将样本x判属有极大(或极小)函数值的那一类。 到底应取极大 值还是取极小值, 需要根据具体问题的物理意义确定。 不同的判别函数对应不同 的模式分类方法。
2.1 分类器的描述方法
2.1.1 基本假设
给定模式空间S，由m个互不相交的模式类集合
1,2 , ,m
组成，即
，
。
几个基本假设S如下：1 2
m i j , (i j, i, j 1, 2, , m)
(1) 假定类ωi的先验概率为P(ωi); (2) 样本(或模式) x由特征向量来表示, 同样记为x, 假设为d维, 即x=(x1, x2, …, xd);