d23
类别3
d23
类别2
最小距离
最近邻距离
三、基于统计决策的模式识别
（2）线性判别函数 g(X)=a·X+b 是多维空间的平面。 只能将各样本划分为两类，用于 2 类识别问题。
类别1
a· X+b 类别2 线性判别
三、基于统计决策的模式识别
（3） 统计决策理论 ——贝叶斯( Bayes)决策
引例： 设在模板匹配的汽车牌照识别中，因字符模糊，求得第1字符为“湘” 的相关度为0.79；为“浙”的相关度为0.80。
基于人工神经网络的模式识别：
它将若干个处理单元(即神经元)通过一定的互连模型连结成一个网络，这个网络通过一定 的机制(如误差后向传播)可以模仿人的神经系统的动作过程，以达到识别分类的目的。
统计学习理论与支撑向量机：
将统计模式识别看作是机器学习理论的一个特例，通过系统的自主学习建立模式分类规则 ，其中的支撑向量机是目前研究的热点，主要解决小样本，非线性以及高维度的模式识别 问题。
n
二、模式识别——模版匹配
或写为： R( x, y )
i m j n
[ f ( x i, y j) F ]
m
m
n
i m j n
[ f ( x i, y j) F ]
n

2
i m j n
[t (i j ) T ]
l1
l2 l3
2
2 2
1
1 1
2
1 2
1
1 1
1
2 1
1
2 2
1
1 2
1
1 1
2
1 2
2
2 1
l4
l5
2
1
1
0Leabharlann 3030
2
1
3
0
3
1
2
0
3
2
3
1
在5个特征中选择 4 个，有 5 种选法。究竟选哪种好？ 从独立性看 —— 去掉 l2 或 l3 均可； 从区分性看 —— 去掉 l2 较好。因 l3中的数据有较大的熵。
16
二、模式识别——模版匹配
模板匹配识别目标的特点： （1）与目标的大小、旋转、错切有关。 解决办法： 方法1： 匹配前，先矫正目标的大小、旋转； 目标的定位、大小、旋转检测必须准确。 方法2： 准备各种大小、旋转角的模板，一一进行匹配； 模板的数量极大，实际中难以应用。
（2） 具有较强的抗干扰能力。 若匹配前目标的大小、旋转矫正良好，则对模糊、污损字符 也能较好地识别。
i
yi |
相关度：
X Y X Y
距离越大（或相关度 越小），表示两矢量的差别越大 。
三、基于统计决策的模式识别
用距离函数可计算样本类之间的距离。有两种计算方法。 最小距离 最近邻距离
类别1
各类之间的距离 各类中最靠近的样本之间的距离
类别1 d12 d13 类别2 类别3
d12 d13
结构（句法）识别方法：
着眼于对待识别对象的结构特征的描述。将一个识别对象看成是 一个语言结构，例如一个句子是由单词和标点符号按照一定的语 法规则生成的，同样，一幅图像是由点、线、面等基本元素按照 一定的规则构成的。
7
一、基本概念——模式分类与识别 统计识别方法中的新发展 模糊模式识别：
以模糊数学(fuzzy math)为理论基础，将计算机中常用的二值逻辑转化为连 续逻辑。模糊识别的结果是用被识别对象隶属于某一类别的程度。
| f ( x i , y j ) t (i , j ) |
m
n
若 D(x,y) 较大，则该位置不可能是目标。否则，该位置可能是目标，再进一步计算相关度。 因为差值计算量较小，且大部分位置不存在目标，故速度大大提高。
二、模式识别——模版匹配
（2）两步检测法 ——先粗检测，再精检测。 每隔几个像素检测一次，目标一般在相关度较高的位置附近。 再在相关度较高的位置附近进行精检测。
样板图像的特征参数称为样本。不同的样板图像有不同的样本值。 通过提取特征参数，使表示图像的数据大大减少。
三、基于统计决策的模式识别
特征参数选择
从 m 个特征参数中，选出 n ( n < m ) 个区分性、独立性、可靠性好的特征。 例：以直线穿越字符笔画的次数作为特征参数，如下表。
l4 l1 l2 l3 l5 是孔数
3
一、基本概念——模式类 模式类是具有共同性质的模式族，模式类是对事物分类 结果的一种变相描述，它反映了同类事物的相似性与不 同事物的区别性。
4
一、基本概念——模式分类与识别 将不同的模式通过归纳的方法分成不同的模式类即为模 式分类； 对于一个未知其类别的模式，找到它所从属的模式类即 为模式识别（狭义）。 模式识别(广义)的主要内容 （1）特征提取和选择（建立模式） （2）决策分类（建立模式到模式类的映射）
设要将目标 X 分成 m 类，类的编号为： 取似然度值最大的划分作为分类结果。 在引例中，假设在湖南长沙 统计知：出现“湘”的概率 出现“浙”的概率
P (1 ) 0.6
P ( 2) 0.05 计算出：X 属于“湘”的概率 p( X | 1 ) 0.79 X 属于“浙”的概率 p( X | 2 ) 0.80 则： 将 X 划分为“湘”的似然度 0.6 0.79 0.474 将 X 划分为“浙”的似然度 0.05 0.80 0.04
得到样本库，备用。 每个样板图像都有一组特征参数。
（2） 对待识别的目标图像，按同样的算法，得到优化后的特征参数 输入待识别图像
特征 参数 提取 特征 参数 优化
得到一组特征参数
三、基于统计决策的模式识别
（3） 设计一个分类器，对待识别图像分类，判别 待识别图像的特征参数属于样本库中的哪一个。 输入样板图像
因相关度接近，不能判定是二者中的哪一个。但是，如果在湖南，判定
为“湘”的正确度要远远高于“浙”；反之，如果在浙江，判定为“浙”的 正确度要远远高于“湘”；
三、基于统计决策的模式识别
贝叶斯决策的基本思路：
1 , 2 ,...,m 由大量统计知， X 属于第 i 类的概率 P (i ), i 1,2,...,m 由计算求出，X 属于第 i 类的概率 p( X | i ), i 1,2,...,m 则将 X 划分为第 i 类的正确度(似然度) p( X | i ) P (i )
R( x , y )
i m j n
[ f ( x i , y j ) F ] [t (i j ) T ] [ f ( x i, y j) F ]
n 2 i m j n
m
n
i m j n

m

m
2 [ t ( i , j ) T ]
三、基于统计决策的模式识别
常用判别函数
（1）距离函数 设两矢量分别为： X ( x1, x2 ,..., xn ),
则 X 和 Y 之间的距离为： 欧几里德距离： L 距离：
2 ( x y ) i i n 1/ 2 i 1 n
Y ( y1, y2 ,..., yn )
| x
i 1
8
一、基本概念——模式识别的基本问题 模式类的紧致性
对比于图形学中的凸集概念
模式的相似性
空间距离是度量模式相似性的最佳手段之一。
特征与分类的关系
面向模式识别的特征的产生应考虑到分类的需要，同一个目标在 不同的分类需求下的特征可能是不同的
9
一、基本概念——模式识别系统的应用 模式识别系统在图像处理领域的应用
i m j n
m
n

m
2 [ t ( i , j ) T ]
n
对目标图像灰度规 范化
对样板图像灰度规 范化
简写为：
R( x, y) f ( x i, y j) t (i, j)
二、模式识别——模版匹配 基于相关性的模板窗口操作示例
（a）图像； （b）子图； （c） （a）和（b）的相关系数。当子图和原图中的字 母“D”一致时， （c） 中出现最高值（亮点）；
（3）边缘匹配法 应采用边缘型模板。 先抽取图像的边缘。在相关度计算时，仅考虑边缘点。因边 缘点较少，故计算量大大减少。
（4）局部匹配法 先对模板上的一部分作匹配。当匹配程度较高时，再考虑 全部模板匹配。否则放弃。
三、基于统计决策的模式识别
统计模式识别的基本思想 （1） 生成样本库 输入样板图像
特征 参数 提取 特征 参数 优化
5
一、基本概念——模式识别系统 模式识别的基本过程：设计与实现
训练过程
信息 获取
数据预 处理
特征 提取 和选择
分类器设计
分类 决策
输出 结果
6
一、基本概念——模式识别的分类 两种基本的模式识别方法 统计识别方法：
建立特征空间，利用统计决策理论
贝叶斯决策，判别函数法，k近邻法，风险最小化，非线性映射，特征分析，主元分析等
－n
－m n j m i
R( x , y )
i m j n
f ( x i , y j ) t (i j )
n
m
n
t (i, j )
i m j n

m
f ( x i, y j)2
i m j n

m
2 t ( i , j )
n
分类结果 ： X 属于“湘”
四、基于结构句法的模式识别
当我们提取到目标的特征矢量后： 按上面讨论的分类方法，是让特征矢量的各个分量一齐参加分类。
11