此时g(x)被称为广义线性判别函数，a称为广义权向量。
广义线性判别函数
按照上述原理，任何非线性函数g(x)用级数展开成高次 多项式后，都可转化成广义线性判别函数来处理。
aTy=0在Y空间确定了一个通过原点的超平面。这样我们 就可以利用线性判别函数的简单性来解决复杂的问题。
经过这种变换，维数大大增加了，这将使问题很快陷入 所谓的“维数灾难”。怎么解决？
g(x)＝0就是相应的决策面方程，在线性判别函数条件下它对 应d维空间的一个超平面。
线性判别函数的基本概念
为了说明向量w的意义，我们假设在该决策平面上有两个特 征向量x1与x2，则应有
wT x1 w0 wT x2 w0 wT (x1 x2 ) 0
其中(x1-x2)也是一个向量 ➢ 上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因 此w就是该超平面的法向量。这就是向量w的几何意义。
线性判别函数的几何意义
令 g(x) wT x w0 = r w
若x为原点，则g(x) w0
原点到超平面H的距离：r0

w0 w
w0 0 原点在H的正侧 w0 0 原点在H的负侧 w0 0 H通过原点
w x2
x
r
xp
x1
H: g=0
广义线性判别函数
线性判别函数是形式最为简单的判别函数，但是它不能用 于稍复杂一些的情况。
广义线性判别函数
由于线性判别函数具有形式简单，计算方便 的优点，并且已被充分研究，因此人们希望 能将其用适当方式扩展至原本适宜非线性判 别函数的领域。
一种方法是选择一种映射x→y，即将原样本 特征向量x映射成另一向量y，从而可以采用 线性判别函数的方法。
广义线性判别函数
选择一种映射x→ y，即将原样本特征向量x映射成另一向量 y，从而可以采用线性判别函数的方法。
决策面(decision boundary)H方程：g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量
w
x = xp + r w , g(x)= r w
x2
x p是x在H 上的投影向量 r是x到H的垂直距离
w 是w方向上的单位向量 w
w x
r
xp
x1
H: g=0
另一类是非线性判别函数
§4.1 引言
线性判别函数：x的各个分量的线性函数 或以x为自变量的某些函数的线性函数。
g(x) wT x w0
对于c类问题： gi (x) wiT x wi0
利用样本集估计参数wi和wi0，并把未知样 本x归到具有最大判别函数值的类别中去。
优点：
模式识别
第四章线性判别函数（1）
回顾：
贝叶斯分类器 :
已知： 先验概率P( j
类条件概率密度p(
) x
|

j
)


判别函数

分类
需要大量样本？
参数估计与非参数估计
利用样本集直接设计分类器？
§4.1 引言
利用样本集直接设计分类器的基本思想：
给定某个判别函数类，且假定判别函数的参数形式 已知
§4.1 引言
例如下图：三类的分类问题，它们的边界线就 是一个判别函数。
x2
2
1
边界
x1
3
§4.1 引言
判别函数包含两类：
一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判 别函数映射到另外一个空间变成线性判别 函数） 分段线性判别函数
最优？次优？ 计算简单；容易实现；需要的计算量和存储量小
§4.1 引言
寻找线性判别函数的问题被形式化为极小化准 则函数的问题。以分类为目的的准则函数可以 是样本风险，也可以是训练误差。
目标：能够正确地对新的样本进行分类
线性判别函数的基本概念
设样本d维特征空间中描述，则两类别问题中线性判别函数的
➢ 而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该 决策平面将这两类样本按其到该面距离的正负号确定其类别。
➢ 至于w0则体现该决策面在特征空间中的位置，当w0=0时，该
决策面过特征空间坐标系原点，而
时，则 表示了坐
标原点到该决策面的距离。
线性判别函数的几何意义
令 g(x) wT x w0
欲设计这样一个一维样本的分类器，使其性能为

x
b
b或x x
a
a 决策x w1 决策x w2
针对这种情况，如果设计这 样一个判别函数:
g(x)＝(x-a)(x-b) 相应的决策规则 :

g(x) g(x)

0 0

决策x 决策x

w1 w2
此时,g(x)不再是x的线性函数，而是一个二次函数
用训练的方法来估计判别函数的参数值 分类决策
不需要有关的概率密度函数的确切的参数形式， 属于非参数估计方法。
§4.1 引言
问题描述：
假设对一模式X已抽取n个特征，表示为：
X (x1, x2, x3,...,xn )T X是n维空间的一个向量
根据模式X的n个特征来判别模式属于 ω1 ,ω2 , … , ωm 类中的那一类?
一般形式可表示成
g(x) wT x w0
x = x1, x2,...xd T 其中 w = w1, w2,...wd T
w0是一个常数，称为阈值权。相应的决策规则可表示成
g(x)>0, 如果 g(x)<0,
则决策x 1 则决策x 2
g(x)=0, 可将其任意分类或拒绝
g(x) c0 c1x c2 x2
y1 1
a1 c0
如果我们采用映射x→
y
，使
y


y2



x
，a


a2



c1

y3 x2
a3 c2
则判别函数g(x)又可表示成
3
g(x) aT y ai yi i 1
广义线性判别函数
一种特殊映射方法：增广样本向Hale Waihona Puke y与增广权向量ay
1

x

1,
x1
,...,
xd
T
a


1 w


w0
,
w1
,
...,
wd
T
线性判别函数的齐次简化： g(x) = wT x + w0 = aT y
Y空间任意一点y到Hˆ 的距离为：rˆ g(x) aT y aa