若对于所有的
j i, j 1,2,...,M
则作判决：
x i
Dij ( x) 0
均有：
死区问题 ？
DAG
在判决函数完全获得定义之后，分类器的设计才 算结束，可以用于分类。通常，线性判别函数中 的权系数 At 是用训练或称学习的方法获得的。 为了讨论上的方便，先考虑两类问题。
下图是最近邻域分类器的一个例子。
当然，判别函数的形式可以取其它很 多种形式，例如高次多项式等。
以两类分类问题为例：已知先验分布P(ωi)和观
测值的类条件分布p(x|ωi)，i=1,2 问题：对某个样本x，抉择x∈ ω1? x∈ ω2？
以后验概率为判决函数： gi (x) P(i | x) j argmax P( | x) 决策规则：


特征选择 所要提取的应当是具有可区别性、可靠 性、独立性好的少量特征。 因此特征选择可以看作是一个(从最差 的开始)不断删除无用的特征和组合有关联 的特征的过程，直到特征的数目减少到易 于驾驭的程度，同时分类器的性能仍能满 足要求为止。

每类的每一个特征均值：
假设训练样本中有 M 个不同类别的样本。令 N j 表示第 j 类的样本数，第 j 类中第 i 个样本的两 个特征分别记为 xij 和 yij 。 每类的每一个特征均值：

z
其中 是一个新的变量，它决定 x 和 y 在组 合中的比例。
如果训练样本集中每一对象都对应于二 维特征空间(即平面 x y )中的一个点，上 式描述了为所有到在 z 轴(与 x轴成 角) 上的投影。显然应选取使得类间距最大的 或者满足评价特征质量的其它条件的 。
8.2 统计模式识别
8.2.1 基本概念 这里我们讨论数字特征的识别。其前提 是，假定我们所处理的模式每一个样本都 表示为N维特征矢量，写为：
它的取值范围为 [ 1,1]。 如果=0，说明这两特征之间没有相关性；接近+1 表示这两个特征相关性强；为-1表示任一特征都与 另一特征的负值成正比。 因此，如果相关系数的绝对值接近1，则说明这两 个特征可以组合在一个特征或干脆舍弃其中一个。

类间距离
一个特征区分两类能力的一个指标是类间距离， 即类均值间的方差归一化间距。显然，类间距离大 的特征是好特征。 对特征 x 来说，第 j类与第 k 类之间的类间距为：
P(2 | x)
P(2 ) p( x | 2 )
j j

P( ) p(x | )
j 1
2
j argmax P(i | x) 1
i
x 1
决策结果
p(x|ω1) p(x|ω2)
p(ω1|x) p(ω2|x)
类条件概率密度函数
后验概率
决策的错误率
条件错误率：
P(e | x)
Di ( x) D j ( x)
则作判决：
x i
因为处理的是分类问题，因此最佳的意义 是分类误差最小。 由于求解最佳判决函数的出发点和途径不同 ，因此产生了各种不同的分类方法： 判别函数方法 贝叶斯分类器：判别函数表示为似然比，也称 为 最大似然率分类器或最小损失分类器 集群分类方法：它几乎不需要有关待分样本的 先验知识。
判别函数中与类别i无关的项，对于类 别的决策没有影响，可以忽略。
Bayes最小错误率决策例解
两类细胞识别问题：正常(ω1)和异常(ω2)
根据已有知识和经验，两类的先验概率为：

正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4
分类器是某种由硬件或软件组成的“机器”：

计算c个判别函数gi(x) 最大值选择
x1
g1 g2
. . .
x2
. . .
ARGMAX
a(x)
xn
gc
8.2.2 判别函数方法
在很多分类问题中，往往必须知道待分样本 的先验知识。这里假设我们已经知道判别函数的 形式，剩下的问题是如何求判别函数的待定参量 以及进行分类判决。诚然，由分类者随心所欲地 选择判别函数的形式，是件快事。但是，类别函 数选择不合适，会导致分类误差的增加。
1 Nj
ˆ ( yij yj ) 2
i 1
Nj
在理想情况下同一类别中所有对象的 特征值应该很相近。

特征相关系数 第 j 类特征 和特征 y 的相关系数估计为
x
ˆ xyj
1 Nj
(x
i 1
Nj
ij
ˆ ˆ xj )( yij yj ) ˆ ˆ xj yj


模式可以是以矢量形式表示的数字特征； 也可以是以句法结构表示的字符串或图； 还可以是以关系结构表示的语义网络或框 架结构等。 对于上述三种类型的模式，必须分别使用不 同的识别和推理方法：统计模式识别，句法 模式识别和人工智能方法。


统计模式识别
基本原理是：有相似性的样本在模式空间中互相接近， 并形成“集团”，即“物以类聚”。 主要方法有：决策函数法， k近邻分类法，支持向量机， 特征分析法，主因子分析法等… 参考书籍：《统计模式识别》(Andrew R.Webb) Jain A K, Duin R P W, Jianchang Mao. Statistical pattern recognition: a review. Pattern Analysis and Machine Intelligence, 2000. 22(1) : 4～37.
ˆ Dxjk
ˆ ˆ xj xk ˆ ˆ
2 xj 2 xk
降维 有许多方法可以将两个特征 x 和 y 合成为 一个特征 ，一个简单的方法是用线性函数： z ax by 由于分类器的性能与特征幅值的缩放倍数 a2 b2 1 无关，可以对幅值加以限制，如 因此 z x cos y sin

i i
即选择P(ω1|x)，P(ω2|x)中最大 值对应的类作为决策结果

该决策使得在观测值x下的条件错误率P(e|x) 最小。 Bayes决策理论是最优的。
后验概率P (ωi| x)的计算
Bayes公式：
假设已知先验概率P(ωi)和观测值 的类条件概率密度函数p(x|ωi)，i=1,2。
P(i , x) P(i | x) p( x ) P(i ) p(x | i ) P( j ) p(x | j )
一、 线性判别函数 线性判别函数的一般形式为：
t Di ( x) a1 x1 a2 x2 .... aN xN aN 1 A x ' 其中， x ( x1 , x2 ,....,xN ,1) ， At (a1 , a2 ,....,a N , an1 )
分别称为扩充了的特征矢量和权矢量。
使用线性判别函数的分类判决有下述两种情况：
l 第一种情况： 每一类可以用一个判决平面与其它所有类隔开， 在这种情况下，有M个判决函数：
0 t Di ( x ) A x 0
若 x i
其它
l 第二种情况： 每一类与其它所有各类可以由不同的判决平面 一一隔开，也就是说，各类是可分段可分的， 共有 M ( M 1) 个判决面。 2 判决函数可以写成 Dij ( x) Aij x D ji ( x)
所谓训练，就是给定一组已经 标定好类号的训练样本，求出判别函 1 数中的各参数。若以 Y 表示第一类的 2 训练样本，以 Y 表示第二类的训练样 本，则对所有训练样本，有 1 2 AY 0 以及 AY 0 求解这一系列不等式，就可以 解得权系数A。
这显然是线性判决函数，前面所述的线性 判别函数的各种处理方法也适用于最小距 离分类器。


“模式”是一个客观事物的描述，是指建立 一个可用于仿效的完善的标本。

模式识别的研究内容
1）研究生物体（包括人）是如何感知对象的，属 于认知科学的范畴 2）在给定的任务下，如何用计算机实现模式识别 的理论和方法

典型模式识别系统

图像识别系统

人脸识别系统
8
图像识别
8.1 概述 模式可以定义为物体的描述。由于描述这个 词的意义比较广泛，有人把它推广到图像数 据本身，因为图像数据也是相应事物的一种 描述，只不过这样的描述不够抽象和简要而 已。前章中我们已经讨论过图像的各种特征 和描述的提取方法。因此，我们将模式解释 为物体的较抽象的特征和描述。
1 ˆ xj Nj
x
i 1
Nj
ij
和
1 ˆ yj Nj
y
i 1
Nj
ij
注意：仅是两个值基于训练样本的估计值，而不是 真实的类均值。

特征方差 第 j 类的特征 x 和特征 y 的方差估值 分别为：
ˆ
2
xj
1 Nj
(x
i 1
Nj
ij
ˆ xj )
2
2 yj 和 ˆ
下图为二维特征空间，三类问题。

决策区域与决 策面(decision region/surface)：
数学上，统计模式识别问题可以归结为：对一 组给定的样本集合，找出其最佳的分类判决函 数 ，并作判决： D , i 1,2,....,M
i
若对所有的 j i, j 1,2,...,M 均有：
图像处理
图 像
图像识别 图像理解
计算机图 形学
描 述
图像（模式）识别概念

图像识别与模式识别
模式识别：对表征事物或现象的各种形式的 （数值的，文字的和逻辑关系的）信息进行处 理和分析，以对事物或现象进行描述、辨认、 分类和解释的过程，是信息科学和人工智能的 重要组成部分。 什么是模式 （Pattern）？