8
7.2 类别可分性判据 (3)
构造可分性判据
判据具有“距离”的某些特性， 判据具有“距离”的某些特性，即 ：
J i j > 0 ，当 i ≠ j 时；
J i j = 0 ，当 i = j 时； Ji j = J ji
(4) 对特征数目是单调不减，即加入新的特征后， 对特征数目是单调不减，即加入新的特征后， 判据值不减。 判据值不减。
13
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 四) 类内距离
1 2 d (ω i ) = Ni r (i ) r (i ) T r (i ) r (i ) ∑ (xk − m ) ( xk − m )
k =1 Ni
类内均方欧氏距离
类内均方距离也可定义为： 类内均方距离也可定义为：
k =1 Ni
i = 1,2, L , c
c r r m = ∑ Pi m ( i ) 各类模式的总体均值矢量
i =1
为相应类的先验概率， Pi 为相应类的先验概率，当用统计量代替先验概 率时，总体均值矢量可表示为： 率时，总体均值矢量可表示为：
c c r r (i ) N i r (i ) 1 c Ni r ( i ) 1 N r m = ∑ Pi m = ∑ m = ∑∑ xk = ∑ xl N i =1 k =1 N l =1 i =1 i =1 N
6
第七章 特征提取与选择
7.2
类别可分性判据
7
7.2 类别可分性判据
构造可分性判据
为确立特征提取和选择的准则： 为确立特征提取和选择的准则：引入类别可分性 判据，来刻划特征对分类的贡献。 判据，来刻划特征对分类的贡献。为此希望所构造 的可分性判据满足下列要求： 的可分性判据满足下列要求： (1) 与误判概率(或误分概率的上界、下界)有单调关系。 与误判概率(或误分概率的上界、下界)有单调关系。 (2) 当特征相互独立时，判据有可加性， 当特征相互独立时，判据有可加性，即 ：
k =1 l =1
15
Ni
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 (七)各类模式之间的总的均方距离
c r 1 c 1 2 d ( x ) = ∑ Pi ∑ Pj 2 i =1 j =1 N i N j
r (i ) r ( j ) ∑∑ d ( xk ,xl )
2 k =1 l =1
r r (i ) 1 d ( x , {a k }) = Ni
2
r r (i ) ∑ d ( x, ak )
2 k =1
12
Ni
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 三) 类内及总体的均值矢量
r (i ) 1 类的均值矢量： 类的均值矢量： m = Ni r (i ) ∑ xk
在特征空间中，当类内模式较密聚， 在特征空间中，当类内模式较密聚，而不同类的 模式相距较远时，从直觉上我们知道分类就较容 模式相距较远时， 易，由各判据的构造可知，这种情况下所算得的 由各判据的构造可知， 判据值也较大。 判据值也较大。由判据的构造我们还可以初步了 解运用这类判据的原则和方法。 解运用这类判据的原则和方法。
r r s 1− s r J C = − ln ∫ p( x ω1 ) p( x ω 2 ) dx
Ω
∆ J C (ω1 , ω 2 ;s ) ∆ J C ( s;x1 , x2 , L , xn )∆ J C ( s ) 0 < s <1
k =1
Ni
r (i ) r r (i ) r T 类间离差 S B = ∑ Pi ( m − m )( m − m )
r r r T 1 N r 总体离差 ST = ∑ ( xl − m )( x l − m ) = SW + S B N l =1
易导出
r d ( x ) = Tr[ SW + S B ] = Tr[ S T ]
1 ( d c (ωi ) = d 2 ( xki ) , xl( i ) ) ∑∑ N i ( N i − 1) k =1 l =1
2 Ni Ni
14
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 五) 类内离差矩阵
Sω i
( 六)
1 = Ni
r (i ) r (i ) r (i ) r (i ) T ∑ (xk − m )( xk − m )
11
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 一) 点与点的距离
1/ 2 r r T r r 1/ 2 n r r 2 d (a , b ) = (a − b ) (a − b ) = ∑ (a k − bk ) k =1
[
]
( 二)
点到点集的距离 用均方欧氏距离表示 均方欧氏距离表示
Ω
∫
1
表示特征空间。在最小误判概率准则下， 式中 Ω 表示特征空间。在最小误判概率准则下，误判 概率有
P0 ( e ) ≤ [P ( ω 1 ) P ( ω 2 ) ] exp [− J B ]
22
1 2
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据
（二） Chernoff 判据 ( J C )
10
7.2 类别可分性判据
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
一般来讲， 一般来讲，不同类的模式可以被区分是由于它们 所属类别在特征空间中的类域是不同的区域。 所属类别在特征空间中的类域是不同的区域。 显然，区域重叠的部分越小或完全没有重叠， 显然，区域重叠的部分越小或完全没有重叠，类 别的可分性就越好。 别的可分性就越好。 因此可以用距离或离差测度（散度） 因此可以用距离或离差测度（散度）来构造类别 的可分性判据。 的可分性判据。
20
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据 可用两类概密函数的重叠程度来度量可分性， 可用两类概密函数的重叠程度来度量可分性， 构造基于类概密的可分性判据。 构造基于类概密的可分性判据。此处的所谓重叠 程度是指两个概密函数相似的程度。 程度是指两个概密函数相似的程度。
19
7.2 类别可分性判据
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据
考虑两类问题。上图是一维的两类概率分布密度。 考虑两类问题。上图是一维的两类概率分布密度。 表示两类是完全可分的。 (a) 表示两类是完全可分的。 (b)是完全不可分的。 (b)是完全不可分的。 是完全不可分的
[
]
个原始特征中的任意d 个特征， 式中xi1 , xi 2 , L , xid 是n 个原始特征中的任意 个特征， 上式表示直接寻找n 维特征空间中的d 维子空间。 上式表示直接寻找 维特征空间中的 维子空间。 主要方法有：分支定界法、 主要方法有：分支定界法、用回归建模技术确定相 关特征等方法。 关特征等方法。 等方法
分类识别的正确率取决于对象的表示、 分类识别的正确率取决于对象的表示、训练学 习和分类识别算法， 习和分类识别算法，我们在前面各章的介绍中详细 讨论了后两方面的内容。 讨论了后两方面的内容。本章介绍的特征提取与选 择问题则是对象表示的一个关键问题。 择问题则是对象表示的一个关键问题。
3
第七章 特征提取与选择
J i j ( x1 , x 2 ,L, x d ) = ∑ J i j ( x k )
k =1 d
x 式中， 是对不同种类特征的测量值， 式中， 1 , x 2 ,L , x d 是对不同种类特征的测量值，Ji j (⋅)
表示使用括号中特征时第i 类与第j类可分性判据函数 类可分性判据函数。 表示使用括号中特征时第 类与第 类可分性判据函数。
7.1概述 概述
通常在得到实际对象的若干具体特征之 后，再由这些原始特征产生出对分类识别最 有效、数目最少的特征， 有效、数目最少的特征，这就是特征提取与 选择的任务。从本质上讲， 选择的任务。从本质上讲，我们的目的是使 在最小维数特征空间中异类模式点相距较远 类间距离较大）， ），而同类模式点相距较近 （类间距离较大），而同类模式点相距较近 类内距离较小）。 （类内距离较小）。
Ni
Nj
当取欧氏距离时，总的均方距离为 当取欧氏距离时， N N c c r (i ) r ( j ) T r (i ) r ( j ) 1 1 2 r d ( x ) = ∑ Pi ∑ Pj ∑∑ ( xk − xl ) ( xk − xl ) 2 i =1 j =1 N i N j k =1 l =1
2
17
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
J1 = Tr S S B
[
−1 W
]
Tr[ S B ] J3 = Tr[ SW ]
SB J 2 = ln SW SW + S B ST J4 = = SW SW
18
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
k =1
Ni
显然 两类之间的距离
1 2 d (ω i , ω j ) = Ni N j
Ni Nj 2 k =1 l =1
d (ω i ) = Tr[ Sωi ]
2
r (i ) r ( j ) ∑∑ d ( xk , xl )
Nj
1 d (ω i , ω j ) = Ni N j
2ቤተ መጻሕፍቲ ባይዱ
r (i ) r ( j ) T r (i ) r ( j ) ∑∑ ( xk − xl ) ( xk − xl )
i j
16
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 八) 多类情况下总的类内、 多类情况下总的类内、类间及总体离差矩阵