3
d ( x) 0
IR 3
x1
5


d2 ( x) 0
22
1、第一种情况（续）
解： 三个判别边界分别为：
d1 ( x ) x1 x2 0 d 2 ( x ) x1 x2 5 0 d ( x 3 ) x2 1 0
6
1有关模式识别的3个问题
• 相似性度量
• 同类物体之所以属于同一类，在于它们的某些
属性相似，因此可选择适当的度量方法检测出 它们之间的相似性。 • 在特征空间中用特征向量描述样本的属性，用 距离来表示相似性度量。 • 合适的特征空间情况下，同类样本应具有聚类 性，或紧致性好，而不同类别样本应在特征空 间中显示出具有较大的距离。
d12(x)为正
i j 两分法例题图示
d21(x)为正
29
x2
9 8 7 6 5 4 3 2 1
d23(x)= -d32(x)= –x1+x2= 0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
30
i j 两分法例题图示
(x)= -d31(x)= –x1+3 = 0 d13(x)为正 d31 为正 13(x)
别函数（即数学模型）

2016/12/3
模式识别导论
3
实例：统计模式识别（续）
• 从图中训练样本的分布情况，找出男、女
两类特征各自的聚类特点，从而求取一个 判别函数（直线或曲线）。 • 只要给出待分类的模式特征的数值，看它 在特征平面上落在判别函数的哪一侧，就 可以判别是男还是女了。
2016/12/3
2016/12/3
模式识别导论
39
2.3 感知器算法(Perceptron Approach)
流程:
任选一初始增广权矢量 用训练样本检验分类是否正确 No 对权值进行校正 Yes
No
对所有训练样本都正确分类？ Yes END 感知器算法流程图
40
2.2 感知器概念及其训练方法
• 设训练样本集X={x1,x2,…,xn}，其中xk属于wi或者 *
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2016/12/3
模式识别导论
d i ( x ) 0 d j ( x ) 0
j i
x
则判
x i

比如对图的三类问题 , 如果对于任一模式 x 如 果它的
x2
d1 ( x ) 0 d 2 ( x) 0 d 3 ( x) 0
d3 ( x) 0

1

d1( x) 0
•
2016/12/3
模式识别导论
5
有关模式识别的3个问题
• 模式的紧致性
•
• 分类器设计难易程度与模式在特征空间的分布方式有
密切关系，例如图(a)、(b)与(c)分别表示了两类在空 间分布的三种状况。 两类事物分布的区域不要有相互混迭的情况，事物尽 管没有混迭，但交界线很复杂。
2016/12/3
模式识别导论
例：非线性判决函数
x2
x2
O
x1
O
x1
2）判决函数d(X)的系数。用所给的模式样本确定。
18
19
x2
不确定区域
?

d3 ( x) 0

1

d1 ( x) 0
2

3

x1
d2 ( x ) 0
多类问题图例（第一种情况）
20
x 、第一种情况（续） 1
判别规则为： 如果
2016/12/3
模式识别导论
9
2.1 引言
• 将模式识别的设计过程，主要是判别函数、
决策面方程的确定过程改成
2016/12/3
模式识别导论
10
2.1 引言
• 线性分类器以及作为设计依据的一些准则
函数，准则函数包括：感知准则，最小平 方误差准则，最小错分样本数准则，Fisher 准则。
2016/12/3
2016/12/3
模式识别导论
38
2.2.2 感知器概念及其训练方法
• 感知准则函数是五十年代由Rosenblatt提出
的一种自学习判别函数生成方法，由于 Rosenblatt企图将其用于脑模型感知器，因 此被称为感知准则函数。其特点是随意确 定的判别函数初始值，在对样本分类训练 过程中逐步修正直至最终确定。
方法⑶判别函数的数目和方法⑴相同，但没有
不确定区，分析简单，是最常用的一种方法。
36
3. 小结 (1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以 作为模式分类的基础。 (2) i i 与i j 分法的比较： 对于M类模式的分类， i i 两分法共需要M个判别函数， 但 i j 两分法需要M(M-1)/2个。当时M>3时，后者需要更多个 判别式（缺点），但对模式的线性可分的可能性要更大一些 （优点）。 原因：
2
O
X 2 ，则
若 d(X ) 0
x1
X ω1或 X ω2 ，则 或拒绝
维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图3.3 判别函数正负的确定
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
1
d1 ( x ) d3 ( x )
2
3
d2 ( x) d3 ( x)
34
多类问题图例（第三种情况）
35
上述三种方法小结:
当c
但是
3 时，i j
法比
i i
法需要更多
的判别函数式，这是一个缺点。
i i 法是将 i 类与其余的c 1 类区分 开，而 i j法是将 i 类和 j类分开，显然 i 法使模式更容易线性可分，这是它的优点。 j
2016/12/3 模式识别导论 7
4.1 引言
分类器设计方法，是根据训练样本集提供的信息， 直接进行分类器设计。这种方法省去了统计分布状 况分析，直接对特征空间进行划分，也是当前的主 要方法之一。
2016/12/3
模式识别导论
8
2.1 引言
• 决策域的分界面是用数学表达式来描述的，
如线性函数和各种非线性函数等，所以分 界面的方程主要包括函数类型选择与最佳 参数确定。 • 一般来说，函数类型由设计者选择，其参 数的确定则是依据一定的准则函数，通过 一个学习过程来实现优化。
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2016/12/3
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
2

3
则该模式属于ω1类。

x1
d2 ( x ) 0
21
1、第一种情况（续）
>0 。则此 如果某个X使二个以上的判别函数 d i) 0 d1 ( x 模式X就无法作出确切的判决。如图 5
d1 ( x ) 0 d ( x 2 )0 d ( x 3 )0
x2
IR 1
1
IR 4
1
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x 3 )0
3
IR 2
另一种情况是IR2区域， d ( x 1 )0 ， 判别函数都为负值。 IR1 d ( x 2 )0 IR2，IR3，IR4。都为不 d ( x 3 )0 确定区域。
x1
式中： x1 , x2 为坐标变量，
w1 , w2 , w3 为方程参数。
图3.2 两类二维模式的分布
x2
d(X ) 0 ＋ －
将某一未知模式 X 代入：
1
d ( X ) w1 x1 w2 x2 w3
X 1 若 d ( X ) 0 ，则
类； 类；
若 d(X ) 0
23
1、第一种情况（续）
结论：
所以它属于ω2类。
d1 ( x) 0, d2 ( x) 0, d3 ( x) 0
24
因为
1、第一种情况（续）
5
d1 ( x ) 0 d ( x )0 2 d ( x 3 )0
x2