对样本进行观测、采样、量化得到的原理数据构成的向量
R [r,r,r]T
12
m
观测向量 观测值
• 观测空间
由观测向量的维数决定的m维几何空间
Applied Pattern Recognition CSE616
5
基本概念
• 特征向量
对观测向量进行特征选择和提取，得到反映事物本质特性 的特征构成的向量
11 12 121 22 2
n1 n 2 n
• 可根据各个特征在识别中的重要程度设置各加权系数
Applied Pattern Recognition CSE616
12
模板匹配法原理及过程
• 学习过程
• 对每一类已知类的学习样本进行特征提取，得到模板向量X1，
X2， ﹒﹒﹒ XC（C为类别数）
• 设置识别门限值ε • 以待识样本与模板向量之间的相似度（距离）为识别准则
• 造成样本分布不确定的原因：
• 样本本身的空间分布 • 传输处理过程中的噪声和干扰
Applied Pattern Recognition CSE616
17
统计模式识别基础
• 解决办法
• 将特征向量视为具有一定空间概率分布的随机向量 • 利用概率统计的方法进行分类器设计
Applied Pattern Recognition CSE616
1 n 2 n
• 绝对值距离（曼哈顿距离）
X x x x x x x
1121 12 22
1 n 2 n
Applied Pattern Recognition CSE616
11
基本概念
• 加权距离
D x x x x x x
模式识别
Pattern Classification
第二章: 模板匹配法
3
基本概念
• 模板匹配法
• 统计决策方法的特殊情况，也是最简单的情况 • 待分类的每一类模式只有一个唯一的标准（印刷体字符、标
准普通话）
Applied Pattern Recognition CSE616
4
基本概念
• 观测向量
15
模板匹配法的应用
• 人脸识别、模板脸 • 印刷体字符识别 • 标准普通话识别
Applied Pattern Recognition CSE616
16
统计模式识别基础
• 问题
• 模板匹配法将每一类模式的特征向量视为只有唯一标准的模
板向量
• 实际应用中，由于样本的不确定性，每一类模式在特征空间
中分布为一区域
X [x,x,x]T
12
n
特征向量 特征值
• 特征空间
由特征向量的维数决定的n维几何空间（n<m），每个特征 向量即是特征空间中的一个点
Applied Pattern Recognition CSE616
鲑鱼
6 鲈鱼
特征空间
Applied Pattern Recognition CSE616
欧氏距离
样本相似度
平方和距离 绝对值距离
加权距离
Applied Pattern Recognition CSE616
9
基本概念
ቤተ መጻሕፍቲ ባይዱ• 欧氏距离
设有两个n维特征向量X1和 X2
X [x,x,x]T
1
1212
1 n
X1 X2
X [x,x,x]T
2
2122
2 n
则此二样本的欧氏距离定义为：
18
统计模式识别基础
• 先验概率
设有C个类别的识别问题（ω1， ω2 ， ﹒﹒﹒ ， ωc ），则
ωi 类发生（出现）的概率P (ωi ) 称为第 i 类的先验概率。
显然：
c P() 1
i1
i
例如：乙肝病诊断
P () 0 .9,P 9 () 0 .01
1
2
手写体数字识别 P () P ( ) 0 .1
1
10
Applied Pattern Recognition CSE616
19
统计模式识别基础
• 类概率密度
指在已知样本类别为ωi 的条件下，特征向量在特征空间X
处发生的概率，记为P( X / ωi )。
显然：
P (X/
)d x1
i
P( X / ωi ) 随X的变化函数称为第 i 类的类概率密度函数。
Applied Pattern Recognition CSE616
22
统计模式识别基础
• 根据先验知识的多少，将统计方法分为：
属于第i类,，记为Ｘ∈Ｗi
• 若所有Di（ i=1, 2 , ﹒﹒﹒,C ）均大于ε，则拒识。
Applied Pattern Recognition CSE616
14
模板匹配法原理及过程
• 为提高模板匹配法的鲁棒性，可采用弹性模板匹配 • 将模板样本进行平移、旋转、缩放得到多个模板向量
Applied Pattern Recognition CSE616
XXX
1
2
xx2xx2xx2
11 21
12 22
1n
2n
Applied Pattern Recognition CSE616
10
基本概念
• 平方和距离
X 2 x x 2 x x 2 x x 2
11 21 12 22
7
基本概念
• 特征选择
• 去除次要的特征，筛选出重要的特征
• 特征提取
• 通过压缩变换或映射，降低特征维数
Applied Pattern Recognition CSE616
8
基本概念
• 样本的相似度
• 即样本的相似程度，是模式识别的重要依据 • 通常以样本特征向量在特征空间中的距离作为样本的相似度
Applied Pattern Recognition CSE616
13
模板匹配法原理及过程
• 识别过程
• 对待识样本进行特征提取，得到特征向量Ｘ • 计算待识样本特征向量Ｘ与模板向量X1， X2， ﹒﹒﹒ XC之间的
距离 D1， ，﹒﹒﹒，DC
• 若Di = min { Dj }，j=1, 2 , ﹒﹒﹒,C，且 Di <ε，则判样本Ｘ
Applied Pattern Recognition CSE616
20
统计模式识别基础
一维二类情况下的类概率密度函数
Applied Pattern Recognition CSE616
21
统计模式识别基础
• 模板匹配法情况下的类概率密度函数？ • 先验知识
• 先验概率和类概率密度的总称 • 统计方法即是基于样本先验知识的模式识别方法