12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2013-7-16
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
2013-7-16
模式识别导论
38
2.2.2 感知器概念及其训练方法
• 感知准则函数是五十年代由Rosenblatt提出
的一种自学习判别函数生成方法，由于 Rosenblatt企图将其用于脑模型感知器，因 此被称为感知准则函数。其特点是随意确 定的判别函数初始值，在对样本分类训练 过程中逐步修正直至最终确定。
6
1有关模式识别的3个问题
• 相似性度量
• 同类物体之所以属于同一类，在于它们的某些
属性相似，因此可选择适当的度量方法检测出 它们之间的相似性。 • 在特征空间中用特征向量描述样本的属性，用 距离来表示相似性度量。 • 合适的特征空间情况下，同类样本应具有聚类 性，或紧致性好，而不同类别样本应在特征空 间中显示出具有较大的距离。
3
d (x) 0
x1
IR 3
5


d2 ( x) 0
22
1、第一种情况（续）
解： 三个判别边界分别为：
d1 ( x ) x1 x2 0 d 2 ( x ) x1 x2 5 0 d ( x ) x 1 0 2 3
第二章 线性判别函数
实例：统计模式识别
• 19名男女同学进行体检，测量了身高和体
重，但事后发现其中有4人忘记填写性别， 试问（在最小错误的条件下）这4人是男是 女？体检数值如下：
2013-7-16
模式识别导论
2
实例：统计模式识别（续）
• 待识别的模式：性别（男或女） • 测量的特征：身高和体重 • 训练样本：15名已知性别的样本特征 • 目标：希望借助于训练样本的特征建立判
x1
式中： x1 , x2 为坐标变量，
w1 , w2 , w3 为方程参数。
图3.2 两类二维模式的分布
x2
d(X ) 0 ＋ －
将某一未知模式 X 代入：
1
d ( X ) w1 x1 w2 x2 w3
X 若 d ( X ) 0 ，则 1
类； 类；
若 d(X ) 0
2013-7-16 模式识别导论 7
4.1 引言
分类器设计方法，是根据训练样本集提供的信息， 直接进行分类器设计。这种方法省去了统计分布状 况分析，直接对特征空间进行划分，也是当前的主 要方法之一。
2013-7-16
模式识别导论
8
2.1 引言
• 决策域的分界面是用数学表达式来描述的，
如线性函数和各种非线性函数等，所以分 界面的方程主要包括函数类型选择与最佳 参数确定。 • 一般来说，函数类型由设计者选择，其参 数的确定则是依据一定的准则函数，通过 一个学习过程来实现优化。
2013-7-16
模式识别导论
39
2.3 感知器算法(Perceptron Approach)
流程:
任选一初始增广权矢量 用训练样本检验分类是否正确 No 对权值进行校正 Yes
No
对所有训练样本都正确分类？ Yes END 感知器算法流程图
40
2.2 感知器概念及其训练方法
• 设训练样本集X={x1,x2,…,xn}，其中xk属于wi或者 *
2
O
X ，则 2
若 d(X ) 0
x1
X ，则 ω1或 X ω2 或拒绝
维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图3.3 判别函数正负的确定
方法⑶判别函数的数目和方法⑴相同，但没有
不确定区，分析简单，是最常用的一种方法。
36
3. 小结 (1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以 作为模式分类的基础。 (2) i i 与i j 分法的比较： 对于M类模式的分类， i 两分法共需要M个判别函数， i 但 i j 两分法需要M(M-1)/2个。当时M>3时，后者需要更多个 判别式（缺点），但对模式的线性可分的可能性要更大一些 （优点）。 原因：
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2013-7-16
模式识别导论
2、第二种情况（续）
d12 ( x ) 0
2
d23 ( x ) 0

1

d13 ( x ) 0

3

27
多类问题图例（第二种情况）
28
x2
9 8 7 6 5 4 3 2 1
d12(x) = - d21(x) = –x1 – x2
+5=0
0 1 2 3 4 5 6 7 8 9
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
d i ( x ) 0 d j ( x ) 0
j i
x
则判
x i

比如对图的三类问题, 如果对于任一模式 x 如 果它的
x2
d1 ( x ) 0 d 2 ( x) 0 d 3 ( x) 0
d3 ( x) 0

1

d1( x) 0
x2
IR 1
1
IR 4
1
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
3
IR 2
另一种情况是IR2区域， 0 d1 ( x ) 判别函数都为负值。IR1，0 d2 ( x) IR2，IR3，IR4。都为不 d ( x ) 0 3 确定区域。
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
3
3
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
5
d (x) 0
x1


d2 ( x ) 0
25
26
模式识别导论
4
有关模式识别的3个问题
• 学习
• 人们在日常生活中几乎时时刻刻在进行模式识别的活 •
动，从小时候起就开始学习与增强这种能力。如小孩 学习认字、认识事物都有一个从不会到会的过程。 确定分类决策的具体数学公式是通过分类器设计这个 过程确定的。在模式识别学科中一般把这个过程称为 训练与学习的过程。 一般来说，决定使用什么类型的分类函数往往是人为 决定的。但数学式子中的参数则往往通过学习来确定
一种类别模式的分布要比M-1类模式的分布更为聚集，i j 分法受到的限制条件少，故线性可分的可能性大。
.2.1 线性判别函数的基本概念
• 线性分类器的设计就是利用训练样本集建
立线性判别函数式，也就是寻找最优的权 向量w的过程。其主要步骤如下 • 采集训练样本，构成训练样本集。样本应该具
有典型性 • 确定一个准则J=J(w,x)，能反映分类器性能， 且存在权值w*使得分类器性能最优 • 设计求解w的最优算法，得到解向量w*
x2
9 8 7 6 5 4 3 2 1
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
31
i j 两分法例题图示
d13(x)为正 d31(x)为正
x2
IR
9 8 7 6 5 1类判别区域 4 3 d12(x)>0 2 d13(x)>0 1
x2
d(X ) 0 ＋ －
若分属于ω1，ω2的两类模式可用一方程d(X) =0来 划分，那么称d(X) 为判别函数，或称判决函数、 决策函数。
例：一个二维的两类判别问题，模 式分布如图示，这些分属于ω1，ω2 两类的模式可用一直线方程 d(X)=0来划分。
1
2
O
d ( X ) w1x1 w2 x2 w3 0
别函数（即数学模型）
2013-7-16
模式识别导论
3
实例：统计模式识别（续）
• 从图中训练样本的分布情况，找出男、女
两类特征各自的聚类特点，从而求取一个 判别函数（直线或曲线）。 • 只要给出待分类的模式特征的数值，看它 在特征平面上落在判别函数的哪一侧，就 可以判别是男还是女了。
2013-7-16
x1
d12(x)为正
i j 两分法例题图示