墨墨 ： ＣＮ １ １－２２２３／Ｎ 清华大学学报（自然科学版）２０１５年第５５卷第４期
Ｊ Ｔｓｉｎｇｈｕａ Ｕｎｉｖ（Ｓｃｉ＆ＴｅｅｈｎｏＤ，２０１５，Ｖｏ１．５５，Ｎｏ．４
最小二乘支持向量机鲁棒回归算法研究 顾燕萍 ， 赵文杰。， 吴占松 （１．清华大学热能工程系，电力系统国家重点实验室，北京１０００８４； ２．华北电力大学自动化系，保定０７１００３）
摘要：最小二乘支持向量机因模型学习过程中以二次损 失函数为经验风险，造成学习结果对噪声特别敏感。鉴于 实际问题中噪声不可避免、不可预测，且分布规律难寻，该 文主要研究最小二乘支持向量机的鲁棒性增强算法，以提 高其抵抗噪声与异常值的能力。通过分析得知，样本的局 部异常因子与噪声大小间具有很大的相关性，因此提出了 用于非线性回归问题的局部异常因子概念；并将其应用于 最小二乘支持向量机模型学习时最优损失函数的确定中， 提出了基于样本局部异常因子的直接加权最小二乘支持向 量机鲁棒回归算法。为验证所提出算法的性能，该文最后 以２个典型非线性对象为例，将其与原最小二乘支持向量 机、文献中已有的基于预估噪声分布的加权最小二乘支持向 量机进行了对比 对比结果表明，所提出的直接加权最小 二乘支持向量机算法具有更好的鲁棒性 关键词：最小二乘支持向量机；局部异常因子；加权系数； 鲁棒性；直接加权
中图分类号：ＴＰ １８１ 文献标志码：Ａ 文章编号：１０００－００５４（２０１５）０４—０３９６－０７
Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ｒｏｂｕｓｔ ｌｅａｓｔ ｓｑｕａｒｅｓ－ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ
ＧＵ Ｙａｎｐｉｎｇ ，ＺＨＡＯ Ｗｅｎｊｉｅ ，ＷＵ Ｚｈａｎｓｏｎｇ （１．Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｐｏｗｅｒ Ｓｙｓｔｅｍ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｔｈｅｒｍａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，ＢｅＵｉｎｇ １０００８４，Ｃｈｉｎａ ２．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｎｏｒｔｈ Ｃｈｉｎａ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ ０７１００３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｌｅａｓｔ ｓｑｕａｒｅｓ－ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（［．Ｓ－ＳＶＭ）ｉｓ ａ ｓｐｅｃｉａｌ ｖｅｒｓｉｏｎ ｏｆ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ（ＳＶＭｓ），ｗｈｉｃｈ ｗｏｒｋｓ ｗｉｔｈ ａ ｓｕｍ ｓｑｕａｒｅｄ ｅｒｒｏｒ ｃｏｓｔ ｆｕｎｃｔｉｏｎ．Ｄｅｓｐｉｔｅ ｉｔｓ ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ ａｔｔｒａｃｔｉｖｅ ｆｅａｔｕｒｅ，ｔｈｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｅ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒｓ ｉｓ ｏｎｌｙ ｏｐｔｉｍａｌ ｗｈｉｌｅ ｔｈｅ ｅｒｒｏｒ ｖａｒｉａｂｌｅｓ ｓａｔｉｓｆｙ Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ，ｗｈｉｃｈ ｉｓ ｒａｒｅｌｙ ｔｈｅ ｃａｓｅ ｉｎ ｔｈｅ ｉｎｄｕｓｔｒｉａｌ ｃｏｎｔｅｘｔ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａｎ ａｌｇｏｒｉｔｈｍ ｃａｌｌｅｄ ｄｉｒｅｃｔ ｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ （ＤＷＬＳ－ＳＶＭ）ｗａｓ ｄｅｖｅｌｏｐｅｄ，ａｉｍｉｎｇ ｔｏ ｏｖｅｒｃｏｍｅ ｔｈｅ ｄｒａｗｂａｃｋ ｍｅｎｔｉｏｎｅｄ ａｂｏｖｅ ａｎｄ ｏｂｔａｉｎ ｒｏｂｕｓｔ ｅｓｔｉｍａｔｅｓ ｆｏｒ ｍｏｓｔ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ．Ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ（ＬＯＦ）ｉｓ ａ ｖａｒｉａｂｌｅ ｗｈｉｃｈ ｄｅｐｉｃｔｓ
５／１５ ３９６—４０２
ｔｈｅ ｄｅｇｒｅｅ ｏｆ ａｎ ｏｂｊｅｃｔ ｂｅｉｎｇ ａｎ ｏｕｔｌｉｅｒ．Ａｎａｌｙｓｉｓ ｓｈｏｗｓ ｔｈａｔ ｈｉｇｈ ｃｏｒｒｅｌａｔｉｏｎ ｅｘｉｓｔｓ ｂｅｔｗｅｅｎ ＬＯＦ ａｎｄ ｔｈｅ ｎｏｉｓｅ ｍａｇｎｉｔｕｄｅ．Ｔｈｅｒｅｆｏｒｅ， ａ ｎｅｗ ｄｅｆｉｎｉｔｉｏｎ ｏｆ ＬｏＦ ｗａｓ ｐｒｅｓｅｎｔｅｄ ａｎｄ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｄｅｃｉｓｉｏｎ ｏｆ ｗｅｉｇｈｔｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔｓ ｉｎ ｔｈｅ ｃｏｓｔ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ＤＷＬＳ－ＳＶＭ．Ｔｗｏ ｔｙｐｉｃａｌ ｎｏｎｌｉｎｅａｒ ｅｘａｍｐｌｅｓ ｗｅｒｅ ｔａｋｅｎ ｉｎ ｔｈｅ ｎｕｍｅｒｉｃａｌ ｅｘｐｅｒｉｍｅｎｔｓ ｆｏｒ ｔｈｅ ｖａｌｉｄａｔｉｏｎ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ＤＷＬＳ－ＳＶＭ．Ｃｏｍｐａｒｉｓｏｎ ｗａｓ ａｌｓｏ ｍａｄｅ ａｍｏｎｇ ｔｈｅ ＤＷＬ ＳＶＭ。ｏｒｉｇｉｎａｌ ＬＳ－ＳＶＭ ａｎｄ ｅｘｉｓｔｉｎｇ ｒｏｂｕｓｔ ＬＳ＿ＳＶＭ ａｌｇｏｒｉｔｈｍｓ．Ｔｈｅ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ＤＷＬＳ－ＳＶＭ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｈｏｌｄｓ ｈｉｇｈｅｓｔ ｒｏｂｕｓｔｎｅｓｓ ｗｉｔｈ ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｗｉｔｈ ｔｈｅ ＤＷＬＳ－ＳＶＭ ｂｅｉｎｇ ｃａｐａｂｌｅ ｏｆ ｉｄｅｎｔｉｆｙｉｎｇ ｏｕｔｌｉｅｒｓ ｆｒｏｍ ｔｈｅ ｓａｍｐｌｅ ｓｅｔ ａｎｄ ｂｅｉｎｇ ｉｍｍｕｎｅ ｔｏ ｔｈｅ ｎｏｉｓｅ ｄｉｓｔｒｉｂｕｔｉｏｎ．
Ｋｅｙ ｗｏｒｄｓ：ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ；ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ；ｗｅｉｇｈｔｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔ；ｒｏｂｕｓｔ；ｄｉｒｅｃｔ ｗｅｉｇｈｔｅｄ
支持向量机（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＳＶＭ）是 由Ｖａｐｎｉｋ＿１］提出，最初用于分类和非线性回归问 题的人工智能技术。它基于统计学习理论，以结构 风险最小化为原则，利用有限数量的观察来寻找待 求的依赖关系，是一种基于数据的机器学习算法。 ＳＶＭ模型的训练通过求解二次规划（ｑｕａｄｒａｔｉｃ ｐｒｏｇｒａｍｍｉｎｇ，ＱＰ）问题完成，相对于常用的人工 神经网络技术，ＳＶＭ可有效地避免局部最优、过学 习、学习时间长等问题，因此得到越来越广泛的 关注。 最小二乘支持向量机（１ｅａｓｔ ｓｑｕａｒｅｓ—ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＬＳ—ＳＶＭ）是Ｓｕｙｋｅｎｓｌ２ 提出的特 殊ＳＶＭ形式，它不仅具有ＳＶＭ的上述优点，而且 根据ＫＫＴ（Ｋａｒｕｓｈ－Ｋｕｈｎ－Ｔｕｃｋｅｒ）条件，模型的学 习只需求解一系列线性方程即可完成，算法复杂度 非常低。至今，ＬＳ－ＳＶＭ在模式识别Ｌ３ ］、工业过 程建模 蚋］、软测量 剖、故障诊断［。 和时间序列预 测ｎ阳等领域都得到了成功的应用。然而，由于ＬＳ－
收稿日期：２０１ｌ＿Ｏ８一ｌ８ 作者简介：顾燕萍（１９８６一），女（汉），江苏，博士研究生。 通信作者：吴占松，教授，Ｅ－ｍａｉｌ：ｗｚｓ＠ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎ 顾燕萍，等： 最小二乘支持向量机鲁棒回归算法研究 ３９７ ＳＶＭ模型的学习以二次损失函数为经验风险，造 成学习结果对噪声特别敏感，只有当噪声服从 Ｇａｕｓｓ分布时才能得到原问题的最佳无偏估计。而 现实大多数情况下，噪声是不服从Ｇａｕｓｓ分布的， 且工业测量值中还会因为设备故障等包含异常值。 本文主要研究增强ＬＳ－ＳＶＭ鲁棒性的算法，以提高 其抵抗噪声和异常值的能力。 关于ＬＳ—ＳＶＭ的鲁棒性增强算法，已有学者进 行了研究。比较常用的是在模型学习的目标函数中 经验风险项引入加权系数，即加权最小二乘支持向 量机（ｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ—ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａ— ｃｈｉｎｅ，ＷＬＳ—ＳＶＭ）［１ｌ－ｌＺ］。ＷＬＳ—ＳＶＭ与原ＬＳ－ ＳＶＭ相比，没有事先限定损失函数的形式，而是 根据实际学习样本来确定最优损失函数，因此，它 被公认为提高ＬＳ—ＳＶＭ算法抗噪声、抗异常值能力 的有效方法。ＷＬＳ－ＳＶＭ中经验风险项的加权系数 是影响算法性能的关键。文［１１—１２］根据噪声分布 规律确定加权系数大小，但实际还是假设真实噪声 服从Ｇａｕｓｓ分布，与实际情况仍不一定相符。 本文提出一种直接加权最小二乘支持向量机 ０ １ １ Ｋ（Ｘ１￣Ｘ１）＋ １ １ Ｋ（ １， ２） （ｄｉｒｅｃｔ ｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ——ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａ。－ ｃｈｉｎｅ，ＤＷＬＳ—ＳＶＭ）。相对于已有的ＷＬＳ—ＳＶＭ 算法，ＤＷＬＳ—ＳＶＭ无需借助原ＬＳ—ＳＶＭ对样本中 的噪声进行预估，而是直接根据样本的局部异常因 子（１ｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ，ＬＯＦ）确定损失函数项加权 系数的大小。本文最后基于两个典型的非线性对 象，将文中所提出的ＤＷＬＳ—ＳＶＭ算法与原ＬＳ— ＳＶＭ和已有ＷＬＳ－ＳＶＭ算法进行对比，以验证其 抗噪声和异常值的能力。 ｌ加权最小二乘支持向量机 ＷＬＳ－ＳＶＭ是在ＬＳ－ＳＶＭ模型学习结构风险中 的经验风险项引入加权系数，对于训练集｛Ｘ ，Ｙ ） 一 （ｘｋ ＥＲ”，ｙ ＥＲ），模型学习的主要思想如下： １ ｍｉｎ：告Ｉ１ ｌｌ ＋ｃ∑ ２， （１） —ｈ—＝ｌ Ｓ．ｔ． 一Ｗ 声（ ）＋ｂ＋ ， ｋ一１，…，Ｚ． （２） 与原ＬＳ—ＳＶＭ类似，根据ＫＫＴ条件，ｗＬＳ＿ ＳＶＭ模型的学习可转化为式（３）所示线性方程组的 求解，因此，相对于原ＬＳ—ＳＶＭ，ＷＬＳ—ＳＶＭ并没 有增加模型学习的计算量。
１ Ｋ（ １， ） １ Ｋ（Ｘ２￣Ｘ１） Ｋ（Ｘ２￣Ｘ２）＋ １Ｋ（ｘ２ ９ｘ１）
１ Ｋ（ ｌ， ） ｇ（ｘｚ￣Ｘ２） …Ｋ（ ， ）＋ １ 由式（１）可知，ＷＬＳ－ＳＶＭ模型的学习仍是基 于结构风险最小化原则，但经验风险项已没有预先 限定，而是与加权系数｛ ｝ ： 有关。因此，通过改 变加权系数可以寻找到最优的损失函数，｛ ） 一 的 确定可看成损失函数的优化问题。 非线性拟合问题中ＷＬＳ—ＳＶＭ加权系数的确 定方法，比较常用的是文［１１］中所提出的根据实际 噪声偏离Ｇａｕｓｓ分布的程度确定加权系数大小的 方法。该方法首先采用原ＬＳ—ＳＶＭ算法对训练集 样本进行预学习，得到预估支持值｛ａ ｝ 一 ；进而根 １ 据误差与支持值问的关系ｅ 一南 ＿２］，得到样本数 据中噪声｛ｅ ｝： 的预估；然后计算噪声序列｛ｅ ｝ 一 的四分差（ｉｎｔｅｒ—ｑｕａｒｔｉｌｅ ｒａｎｇｅ，ＩＱＲ），并由式（４） 计算噪声序列的标准差估计ｊ；最后根据式（５）确定 加权系数｛ ｝ ｌ一 的大小， ２．５，Ｃ２—３。