第２７卷第３期 ２０１０年３月 计算机应用研究 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ Ｖｏ１．２７ Ｎｏ．３ Ｍａｒ．２０１０
正则化ＦＤＡ的核化及与ＳＶＭ的比较研究球 于春梅，潘泉，程咏梅，张洪才 （西北工业大学自动化学院，西安７１００７２）
摘要：无论是Ｆｉｓｈｅｒ判别分析（ＦＤＡ）还是基于核的ＦＤＡ（ＫＦＤＡ），在小样本情况下都会面临矩阵的病态问题， 正则化技术是解决该问题的有效途径。为了便于研究正则化ＦＤＡ与支持向量机（ＳＶＭ）的关系，推导了一种正 则化ＦＤＡ的核化算法。将约束优化问题转换为对偶的优化问题，得到了与ＳＶＭ相似的形式，分析了该核化算法 与ＳＶＭ的联系。针对Ｔｅｎｅｓｓｅｅ—Ｅａｓｔｍａｎ（ＴＥ）过程的故障诊断结果表明，正则化ＫＦＤＡ的诊断效果明显好于ＬＳ— ＳＶＭ。 关键词：正则化；Ｆｉｓｈｅｒ判别分析；核方法；凸优化；支持向量机 中图分类号：ＴＰ１８ 文献标志码：Ａ 文章编号：１００１—３６９５（２０１０）０３—０８９７—０２ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－３６９５．２０１０．０３．０２４
Ｋｅｒｎｅｌ ｆｏｒｍ ｏｆ ｒｅｇｕｌａｒｉｚｅｄ ＦＤＡ ａｎｄ ｃｏｍｐａｒｉｓｏｎ ｓｔｕｄｙ ｗｉｔｈ ＳＶＭ ＹＵ Ｃｈｕｎ—ｍｅｉ，ＰＡＮ Ｑｕａｎ，ＣＨＥＮＧ Ｙｏｎｇ—ｍｅｉ，ＺＨＡＮＧ Ｈｏｎｇ—ｃａｉ （Ｃｏｌｌｅｇｅ ｏｆＡｕｔｏｍａｔｉｏｎ，Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１００７２，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｗｈｅｒｅａｓ ｓｍａｌｌ ｓａｍｐｌｅ ｓｉｚｅ（３Ｓ）ｐｒｏｂｌｅｍ ｗｉｌｌ ｂｅ ａｒｏｓｅ ｉｎ ｂｏｔｈ ＦＤＡ ａｎｄ ＫＦＤＡ．Ｒｅｇｕｌａｒｉｚｅｄ ＦＤＡ ｉＳ ａｎ ｅｆｆｅｃｔｉｖｅ ＳＯｌｕｔｉｏｎ ｆｏｒ ｔｈｉｓ ｐｒｏｂｌｅｍ．Ｔｏ ｓｔｕｄｙ ｔｈｅ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｒｅｇｕｌａｒｉｚｅｄ ＦＤＡ ａｎｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ），ｔｈｉｓ ｐａｐｅｒ ｄｅｒｉｖｅｄ ａ ｎｏｖｅｌ ｋｅｒｎｅｌ ｆｏｒｍ ｏｆ ｒｅｇｕｌａｒｉｚｅｄ ＦＤＡ．ｗｈｉｃｈ ｔｒａｎｓｆｅｒｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍ ｗｉｔｈ ｃｏｎｓｔｒａｉｎｔ ｔｏ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍ ｉｎ ｄｕａｌ ｓｐａｃｅ．０ｂｔａｉｎｅｄ ｔｈｅ ｋｅｒｎｅｌ ｆｏｒｉｌｌ ｗｈｉｃｈ ｓｉｍｉｌａｒ ｔｏ ＳＶＭ ａｎｄ ｇａｖｅ ｔｈｅ ｌｉｎｋｓ ｗｉｔｈ ＳＶＭ．Ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｆｏｒ Ｔｅｎｅｓｓｅｅ—Ｅａｓｔｍａｎ （ＴＥ）ｐｒｏｃｅｓｓ ｓｈｏｗ ｔｈａｔ ｒｅｇｕｌａｒｉｚｅｄ ＫＦＤＡ ｇｅｔ ｂｅｔｔｅｒ ｄｉａｇｎｏｓｉｓ ｅｆｆｅｃｔｓ ｔｈａｎ ｌｅａｓｔ ｓｑｕａｒｅｓ ＳＶＭ（ＬＳ．ＳＶＭ）． Ｋｅｙ ｗｏｒｄｓ：ｒｅｇｕｌａｒｉｚａｔｉｏｎ：Ｆｉｓｈｅｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ：ｋｅｒｎｅｌ ｍｅｔｈｏｄｓ：ｃｏｎｖｅｘ ｏｐｔｉｍｉｚａｔｉｏｎ；ＳＶＭ
０ 引言 ＦＤＡ是一种常用的线性分类算法，它通过寻找从原始空 间到新空间的线性变换，使得变换后的数据类内离散度最小、 类间离散度最大，是一种在故障诊断、模式分类领域广泛应用 的降维技术。虽然ＦＤＡ具有概念简单、易于实现的优点，但其 无法提取数据中的非线性关系。Ｍｉｋａ等人 首先提出将核函 数引入ＦＤＡ，其基本思想是首先将数据从原始输入空间非线 性地映射到某一个高维的特征空间中，在高维特征空间中设计
一个线性算法，并用满足Ｍｅｒｃｅｒ条件的核函数来代替内积运 算，从而推导出一个与样本数有关、与样本维数无关的优化问 题，这称为线性问题的核化算法。只有推导出核化算法，才能 将其应用于实际程序。正是基于这个原因，许建华等人 给 出了经典线性算法的核形式。也有不少文献将核化算法应用 于模式识别领域，取得了较好的效果 。但ＦＤＡ和ＫＦＤＡ在 离散度矩阵奇异（小样本）时难以应用，尤其是ＫＦＤＡ，其小样 本问题更为突出。对于多数工业过程来说，获取各种工况的数 据样本通常是比较困难的，而且要耗费大量人力和财力。因此 如何在数据量有限或者小样本下取得较为满意的结果，这是值
得研究的课题。 正则化技术是为了专门处理该问题而提出来的数学方法， 其作用是控制算法的泛化能力、提高数值计算的稳定性、改善 迭代算法的收敛性。Ｏ’Ｓｕｌｌｉｖａｎｌ４ 的综述中给出了不少正则化 技术成功应用的例子。对于正则化Ｆｉｓｈｅｒ判别式的核化，典型 的方法是转换为广义特征值问题的求解 ，但这种方法不方 便研究其与ＳＶＭ的关系。本文提出了一种将约束优化问题转 换为对偶优化问题的方法，便于研究其与支持向量机的关系。 已经有不少学者对ＫＦＤＡ与其他核方法的关系进行了研 究，Ｇｅｓｔｅｌ等人 将ＫＦＤ和ＬＳ—ＳＶＭ统一在Ｂａｙｅｓｉａｎ框架下； Ｘｕ Ｊｉａｎ—ｈｕａ等人 推导了ＫＦＤ、ＬＳ—ＳＶＭ及ＫＲＲ三者的关系； 孙平等人 得出了核典型相关分析与ＫＦＤ几乎是完全等价的 结论。这些文献都是从不同核方法的解的形式而得出的结论。 本文则从优化问题本身理论上得出ＫＦＤＡ与ＳＶＭ的关系，还 以ＴＥ过程 故障０、故障１、故障２数据为例，给出正则化ＫＦ— ＤＡ与ＳＶＭ的故障诊断结果比较。
１ Ｆｉｓｈｅｒ判别式的正则化 考虑两类分类问题，样本Ｘ＝｛ ，ｘ２，…， ｝。类１的样 收稿日期：２００９—０７—１３；修回日期：２００９—０８．１２ 基金项目：国家自然科学基金资助项目（６０６３４０３０，６０７０２０６６）；高校博士点专项基金资 助项目（２００６０６９９０３２） 作者简介：于春梅（１９７０．），女，江苏如皋人，副教授，硕士，主要研究方向为系统辨识、故障诊断、模式识别等（ｙ￣ｃｍ＠ｓｏｈｕ．ｃｏｍ）；潘泉 （１９６１一），男，上海人，教授，博导，主要研究方向为动态系统建模、信息融合、多目标跟踪等；程咏梅（１９６０一），女，陕西西安人，教授，博士，主要研究 方向为信息融合、复杂环境下机动运动目标建模、数据关联、主动及被动式跟踪；张洪才（１９３８一），男，上海人，教授，博导，主要研究方向为非线性估 计与控制、系统辨识、故障诊断与容错控制、目标跟踪、模式识别等． ・８９８・ 计算机应用研究 第２７卷 本数量为 个，表示为｛ ， ，…，硝｝；类２的样本数量为ｚ： 个，表示为｛ ，《，…，砭｝；输出Ｙ＝［Ｙ。，Ｙ ，…，Ｙ ］ ； ， ， ∈Ｒ ，Ｙ ∈｛±１｝，ｉ＝１，２，－一，ｆｌ， ＝１，２，…，ｆ２，ｋ＝１，２，…，ｆ， ｚ ＋１２：ｆ。为了衡量类内、类间数据的分离程度，定义类问离 散度矩阵为 ＝（ｍｌ—ｍ２）（ｍＩ一 ） （１） 类内离散度矩阵为
ｓ ： ２ ，（ｘｌ—ｍ－）（ 一ｍ ）Ｔ／ｌ ＋ 言（《一ｍ２）（ 一ｍ２） ｌ１
（２） 其中：ｍ 、ｍ２分别为两类数据的均值向量，ｍ－ １ ，ｍ２＝
古 。 ＦＤＡ的任务是寻找从原始空间到新空间的线性变换Ｗ， 使得 ＳｂＷ尽量大，同时 Ｗ最小，即ＦＤＡ最大化Ｆｉｓｈｅｒ 准则函数（广义Ｒａｙｌｅｉｇｈ商）。
）＝寒 （３）
对高维数据，类内离散度矩阵 可能是病态的（如果ｚ＜ 则为奇异），这样数据的微小变化会导致 和解Ｗ大的变 化，即其对噪声非常敏感导致差的泛化能力。 针对该问题的一个有效解决方案是对 增加一个对角 阵的方法，即对Ｆｉｓｈｅｒ判别式进行正则化处理 ］，问题重新描 述为 ｗ Ｓ＾Ｗ ，（ ） ‘ ）
考虑到ＦＤＡ不能提取数据的非线性特征，其对应的核化 算法应运而生。对于该问题，一般采用先将ＦＤＡ核化，再正则 化的策略。本文推导一种新的正则化ＦＤＡ的核化算法。
２正则化ＦＤＡ的凸优化解法 根据优化理论，正则化Ｆｉｓｈｅｒ判别式还可等价地由下式来 描述： ｒａｉｎｊＣｗ）： ｔｓ ”Ｗ ｓ．ｔ．ｗＴＳｂＷ＝Ｄ （５） 考虑最大间隔分类器的约束条件 ｓ．ｔ．Ｙ （（ ， ）一６）≥１，ｉ＝１，２，…，１ （６） 将上式分开写成等价的两个式子 （Ｗ， ）一ｂ≥１，ｉ＝１，２，…，ｚｌ （Ｗ， ）一６≥１，ｉ＝１，２，…，ｌ２ （７） 整理得 ｗＴ（ｍ１一ｔｎ２）Ｉ＞２ （８） 即 ｗＴＳｂｗ≥４ （９） 若将式（５）的约束条件用上式代替，其解即最优超平面的 方向不变（不考虑偏置项ｂ），而且因为不等式约束解满足ＫＫＴ 条件，因而具有稀疏性。优化问题重新描述为
ｍｉｎ．，（ ）＝— １ （ ，）Ｗ （１ｏ） ｓ．ｔ．Ｙ （（Ｗ， ）一６）≥１，ｉ＝１，２，…，ｌ 下面仿照支持向量机的方法求解上述优化问题的核化算
法。设 ＝ ，， ＝ｓ ｗ， ＝ ，则有 ÷ （ ＋ ０ｗ＝÷（ ｗ） （－。 １／２ｗ）＝ 一Ｗ（１１）
和 ＜Ｗ，ｘ／）＝（ｓ Ｗ， ）＝（Ｗ， ） （１２） 式（１０）的优化问题重新写成
ｒａｉｎ，（ ）＝÷ Ｗ ｓ．ｔ．Ｙ （（Ｗ， ）一ｂ）≥１，ｉ＝１，２，…， 上式可转换为对偶优化问题
ｍ ａｘＬ（ｃｔ）＝ 一寺 ｏｔｊｙ ｙｇｘ；， ） （ 。）
ｓ．．．ｔ 三 Ｏ／ ＝０， ／＞０ 这样，根据Ｓｃｈｉｓｌｋｏｐｆ等人的理论 ，可将上式的点积运算 用核函数代替，从而得到正则化ＦＤＡ的核化算法，分类函数的 形式可用线性分类器或者Ｂａｙｅｓ分类器。 式（１Ｏ）的实质是对分类间隔和类内离散度矩阵指标的 折中，这与Ｘｉｏｎｇ Ｔａｏ等人 叫提出的混合ＬＤＡ／ＳＶＭ方法等 价； 的大小决定了正则作用的强弱，也即对结构风险控制的 程度， 越大，算法的泛化能力越强。硬间隔ＳＶＭ与式（１３） 在类内离散度矩阵为单位阵且取 ＝０时等价；或者也可以 将算法看成经验风险为类内离散度矩阵的ＳＶＭ，两者的折中 由正则项调节。
３仿真比较 以ＴＥ过程故障０、故障１、故障２数据为例，采用核Ｂａｙｅｓ 分类函数直接进行三类故障的诊断…Ｊ，在正则参数取０．叭时 的最优核参数Ｃ、降维矩阵维数ａ及相应的误分率如表１所示。 最优参数同样采用网格法选取，其中核参数从５Ｏ变化到 ２ ０００，间隔５０；降维矩阵维数从２变化到ｌ７，间隔３。特征的 选择另外详细描述，选择的结果是变量４４、４７和１。表１中误 分率代表漏报、误警及错分之和的百分比，ＳＳ代表样本数量。 表１ 正则化ＫＦＤＡ的最优参数及误分率（ ＝Ｏ．叭）
作为核方法的最早应用，近十多年来，ＳＶＭ得到了飞速的 发展，尤其被公认为对解决小样本问题特别有效。为了比较 ＫＦＤＡ与ＳＶＭ的诊断效果，表２中列出了ＬＳ—ＳＶＭ在不同样本 下的最优参数及误分率。这里的程序采用陆振波博士公开的 ＩＪＳ—ＳＶＭ代码” 。最优参数同样采用网格法选取，经多次仿 真，选择核参数在０．５—５０变化，间隔０．５；折中参数在０．０１～ ０．２变化，间隔０．Ｏ１。特征的选择与ＫＦＤＡ相同，二类到多类 的编码采用最小误分率方案。 表２ ＳＶＭ的最优参数及误分率