w T a w1 ,..., wd , w0 w0
14
广义线性判别函数

线性判别函数的齐次简化：
g (x) w x w0 a y
T T

增广样本向量使特征空间增加了一维，但保持了样 本间的欧氏距离不变，对于分类效果也与原决策面 相同，只是在Y空间中决策面是通过坐标原点的， 这在分析某些问题时具有优点，因此经常用到。
g (x) aT y 如果存在权向量a使 aT y n 0, n 1, 2,..., N 称y n 被正确分类。分类器被看做求N个线性不等式的解
15
广义线性判别函数
例1：设五维空间的线性方程为 55x1+68x2+32x3+16x4+26x5+10 =0，试求出其权向 量与样本向量点积的表达式wTx+w0=0中的w，x以及 增广权向量与增广样本向量形式aTy中的a与y。 答： 样本向量：x = (x1, x2, x3, x4, x5)T 权向量：w = (55, 68, 32, 16, 26)T, w0=10 增广样本向量：y = (1, x1, x2, x3, x4, x5)T 增广权向量：a = (10, 55, 68, 32, 16, 26)T
xKi T
T w (x m i )(x m i ) w xKi T w Si w
T T % % % Sw S1 S1 w (S1 S2 )w w Sww
24
Fisher准则函数
评价投影方向w的原则，使原样本向量在该
方向上的投影能兼顾类间分布尽可能分开， 类内尽可能密集的要求 Fisher准则函数的定义： T % Sb w Sb w J F ( w) % % T S S w S w
概率密度函数
决策规则： 判别函数 决策面方程
x1
g1
• “最优”分类器：错误 率最小，风险最小等对 分类器设计在理论上有 指导意义
w2 x2
. . .
g2
. . .
MAX
y(x)
• 获取统计分布及其参数 很困难，实际问题中并 不一定具备获取统计分 布的条件
3
wd xd
gc
判别函数
基于训练样本确定判别函数
i 1, 2
2 T T 2 % % % Sb ( m 1 m2 ) ( w m1 w m 2 )
w (m1 m 2 )(m1 m 2 ) w w Sb w
T T T
23
样本与其投影统计量间的关系
% S i
y i 2 % ( y mi ) T T 2 ( w x w m ) i
w* argmax J ( K , w)
w
应用

对于未知样本x，计算g(x)，判断其类别
5
线性判别函数
d维空间中的线性判别函数的一般形式：
g (x) w x w0
T

x是样本向量，即样本在d维特征空间中的描 述， w是权向量，w0是一个常数(阈值权)
T
x x1 , x2 , ...xd
r w r是x到H的垂直距离 x p是x在H 上的投影向量 w0 r0 w
w0 w
x2
w
R1: g>0
xp
x
r
R2: g<0
g x w
x1
H: g=0
11
广义线性判别函数

线性判别函数是形式最为简单的判别函数， 但是它不能用于复杂情况 例：设计一个一维分类器，使其功能为：
x b 或 x a 则决策x 1 如果 则决策x 2 bxa
16
广义线性判别函数
例2：有一个三次判别函数：z=g(x)=x3+2x2+3x+4。试建 立一映射x→y，使得z转化为y的线性判别函数。
答：映射X→Y如下：
y1 1 a1 4 y x a 3 2 2 y 2 ，a y3 x a3 2 3 y x 4 a4 1
第五章 线性判别函数
线性判别函数 Fisher线性判别
最小平方误差准则
多类问题 分段线性判别函数
5.1 问题的提出
Generative→Discriminative
基于样本的Bayes分类器：通过估计类条件概率密度函数， 设计相应的判别函数 训练 样本集
w1
样本分布的 统计特征：
z g ( x ) h( y ) aT y ai yi
i 1
4
17
广义线性判别函数
例3：设在三维空间中一个两类别分类问题拟采用二次 曲面。如欲采用广义线性方程求解，试问其广义样 本向量与广义权向量的表达式，其维数是多少？ 答：设该二次曲面方程为:
二次 曲面
2 2 2 ax1 bx2 cx3 dx1x2 ex1x3 fx2 x3 gx1 hx2 lx3 m 0
决策规则： 判别函数 决策面方程
该样本集中的 每个样本的类 别已知
4
线性分类器设计步骤

设 计
线性分类器设计任务：给定样本集K，确定线性判别 函数 g(x)=wTx 的各项系数w：
1. 收集一组样本K={x1,x2,…,xN} 2. 按需要确定一准则函数J(K,w)，其值反映分类 器的性能，其极值解对应于“最优”决策 3. 用最优化技术求准则函数J的极值解w*，从而 确定判别函数，完成分类器设计
18
5.2 Fisher线性判别 — 降维/两类
线性判别函数 y
•
= g(x) = wTx :
•
•
样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在w上的投影
Fisher准则的基本原理：找到一个最理想的
投影轴，使两类样本在该轴上投影之间的距 离尽可能远，而每一类样本的投影尽可能紧 凑，从而使分类效果为最佳
广义 权向量
广义样 本向量
a (a, b, c, d , e, f , g, h, l , m)T
y ( x12 , x22 , x32 , x1x2 , x1x3 , x2 x3 , x1, x2 , x3,1,)T
z g (x) h( y) a y
T
维数为10
广义线性 判别函数

分类规则:
y w x w0 0 x 1
T T
y w x w0 0 x 2
27
Fisher准则举例
例1：设两类样本的类内离散矩阵分 别为S1，S2，各类样本均值分别为 m1=(2, 0)T, m2=(2, 2)T, 试用Fisher准 则求其决策面方程
解
i 1, 2
%S % S % S w 1 2
2 % (m % % S m ) b 1 2

样本类间离散度
以上定义描述d维空间样本点到一向量投影后的 分散情况22ຫໍສະໝຸດ 原样本与其投影统计量间的关系
样本x与其投影 y
的统计量之间的关系：
1 % m i Ni
1 T T y w x w mi , Ni yKi y i
判别函数：
g ( x) ( x a)( x b)
12
广义线性判别函数

二次函数的一般形式：
g ( x) c0 c1x c2 x
2
映射X→Y
y1 1 a1 c0 x ，a a c y y 2 2 1 2 y x 3 a3 c2
x2
w0 w
w
R1: g>0
xp
x r
g x w
x1
R2: g<0
H: g=0
10
线性判别函数的几何意义
w x xp r w
结论：利用线性判别函数进行决策，就是用一个 超平面把特征空间分割成两个决策区域，超平面 方向由权向量W决定，它的位置由阈值权w0确定
=0
T w w w T T T g (x) w x w0 w（x p r ） w0 W x p w0 r ） w w
9
线性判别函数的几何意义
决策面(decision boundary) H 方程：g(x)=0 决策面将特征空间分成决策区域 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量
w x xp r , w r是x到H的垂直距离 x p 是x在H 上的投影向量 g ( x) r w
w w1 , w2 , ...wd
T
6
为了说明向量W的意义，我 们假设在决策平面上有两个 特征向量X1与X2，则应有
w
x2
其中(X1-X2)也是一个向量， 上式表明向量W与该平面上 任两点组成的向量(X1-X2)正 交，因此W的方向就是决策 面的法线方向
x1
平面g x 0
7
两类问题的分类决策规则
g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
x2


1
g( x ) 0
2
x1
8
构造一个二类模式的线性分类器，如下图所示：
g(X )=0 是决策面方程，它是两类模式的分界，对于二维 空间情况，它是一条直线；对于三维情况，它是一个平面；而 对于高维空间的情况，则是一个超平面
xi
Sw S1 S2

样本类间离散度矩阵Sb： Sb (m1 m2 )(m1 m2 )T