可分性最小的特征，剩下特征作为最优子集。 三、减少一个特征，形成新的组合，计算新组合对于最
难分的类对的可分性，选择可分性最大的特征组合作 为新的最优特征子集。 四、重复执行第三步，直到最优的特征子集达到m。
9
（5）搜索树 是一种自上而下的搜索方法，具有回溯功
能，使得所有的特征组合都能被考虑到。搜 索树具有最大的特点是所用到的可分性函数 具有单调性，利用单调性的特点，减少对一 些特征组合的搜索。
5
B、选择特征的算法 定义：短时间内找出高光谱数据波段中最 优的一组特征常用算法介绍： （1）单独选择法
根据可分性准则函数计算n个特征中每个特征可 分性，然后根据各个特征的可分性大小进行排序， 选择可分性最大的前m（n>m）个特征。
6
（2）扩充最优特征子集 一、计算每个特征对应的所有类别的可分性，选择
16
两种分布的可分离性比较
17
（2）类别间的相对距离
根据费歇尔准则，分类时总是希望类内的离散 度尽量小，类间的离散度尽量大，那么根据这 个定律，可以作为相对距离的一个度量，度量 的公式，都是根据类内和类间离散度矩阵来进 行定义。
18
（3）离散度
相对距离是基于类间距离和类内方差，类内方 差越大，分类误差越大。而离散度则是基于条 件概率之差，表达式为：
D ijE [L 'i(jX )/w i]E [L 'i(jX )/w j]
L ij 代表某一点的似然比
L
' ij
代表似然比的自然对数
E 代表期望值
19
（4）J-M 距离
J-M距离也是基于类条件概率之差，与离散度 的评价方式一样，其表达式为：
Jij {[p (X /w i)p (X /w j)]2d} 1 X /2
15
（1）各类样本间的平均距离
各类样本之间的距离越大，类别可分性越大，因此可 以利用各类样本之间的距离的平均值作为可分性的准 则。
常用的距离函数有：欧氏距离，马氏距离，明氏距离 等。
p
欧几里德距离： dij (xki xkj)2 kl
需要注意：很多情况下，类别之间的平均距离并不一 定代表了类别之间的可分性。如下图所示
大值的情况下，所得到的错误概率应该是最小 的。
（2）度量特性。设定两类地物类别i，j的度量特
性为
J
ij
，J
越大，两类特征的分离程度越大。
ij
（3）单调性，新加入的特征，准则函数的值并
不减小。
14
光谱距离可分性准则
从n个特征中求取最有效的m个特征，相应的 组合方式有：C nm种，主要的考核指标： （1）各样本之间的平均距离； （2）类别间的相对距离； （3）离散度； （4）J-M距离； （5）基于熵函数的可分性准则
择可分性最大的特征进入最优子集。 三、增加一个特征，形成新的组合，计算新组合对
于最难分的类对的可分性，选择可分性最大的特 征组合作为新的最优特征子集。 四、重复执行第三步，直到最优的特征子集达到m。
8
（4）去掉最难分类正确分类贡献最小 一、根据类别可分性函数计算每一个类对的可分性，找
出最难分的类对。 二、计算各个特征对于最难分的类对的可分性，去掉择
第一个策略比较难照顾到分布比较集中的类别，如 果使用这个策略，选用能均衡照顾到各类的可以弥 补其不足；第二个策略能照顾到最难分的类别，但 是可能会漏掉某些可分性最大的特征，从而使分类 精度下降。思想，使 效率和模式分布能够达到平衡。如果模式分布 的比较均匀，选择哪一个策略都是无关紧要的； 但是如果模式分布的不均匀，选择第一个策略 就必须考虑可分性准则的有效性，选择第二个 策略就必须考虑最难分的类别，提高分类精度。
熵是一种不确定性的度量，熵函数越大，模式 归属为那一类的就越模糊，从而类别间的可分 性就越小。
21
5.1.2 光谱特征位置搜索
特征位置通常是指：特征吸收波段的位置 包络线去除（包络线归一化）方法的具体步骤
如下：
x
J-M距离的组成成分与离散度是一样的，只是 函数表现形式不一样，因此，把离散度加以改 造，也能够很好的区分类别之间的距离和可分 离性。
20
（5）基于熵函数的可分性准则
在信息论中，一般用“熵”作为不确定性的度 量，是错误概率的函数。为了对所有特征进行 评价，需要计算空间中每一个点的熵函数，因 此利用熵函数期望值就可以表征类别的分离成 都，它可以用来作为提取特征分类性能的准则 函数。
10
必须指出的是以上的算法均假设各个特征之 间相互独立，没有考虑特征之间的相关性。 实际上，各个特征之间是存在相关性的，首 先应该剔除一些可分性小，与其他特征相关 性大的特征，选择最优，可分性最大的特征 组。
11
光谱特征选择的策略按照以上选择的方法 来划分类别，我们从以下三个方面的内容 来具体介绍： 一、光谱距离统计 二、光谱特征位置搜索 三、光谱相关性分析
第五章-特征选择与特征提取
5.1 光谱特征的选择
2
特征选择的方法是根据专家知识来进行挑选或者 是根据类别可分性准则选择。前者由于涉及到人 为的因素比较多，因此不作讨论；后者根据类别 可分性准则，挑选光谱特征。
选择步骤： A、选择可分性准则，确定使用策略 B、确定选择特征的算法
3
A、选择可分性准则 选择可分性准则有两个策略： 一、选择各类平均可分性最大的特征 二、选择最难分的类别具有的可分性最大的特征
可分性最大的进入到最优子集当中； 二、增加一个特征构成新的特征集，重新计算特征
集合的可分性，选择最大的特征组合作为新的最 优子集。 三、重复执行第二步，直到最优的特征子集达到m 个为止。
7
（3）选择最难分类的类对做出正确分类贡献最大 一、根据类别可分性函数计算每一个类对的可分性，
找出最难分的类对。 二、计算各个特征对于最难分的类对的可分性，选
12
5.1.1 光谱距离统计
光谱距离统计是考虑在进行特征选择时，需要依据一定的 准则进行判断。类别可分性根据这些判据能够反映各类在 特征空间的分布情况，还能刻划各特征分量在分类识别中 的重要性或贡献。
13
满足光谱距离可分性的要求：
设计光谱可分性的准则必须满足三个方面的要 求：
（1）与错误概率具有单调关系，这样准则取最