3.3 支持向量回归机SVM 本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR ）是支持向量在函数回归领域的应用。

SVR 与SVM 分类有以下不同：SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。

这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。

3.3.1 SVR 基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数b x x f +⋅=ω)(拟合n i y x i i ,...,2,1),,(=，n i R x ∈为输入量，R y i ∈为输出量，即需要确定ω和b 。

图3-3a SVR 结构图 图3-3b ε不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。

常用的惩罚函数形式及密度函数如表3-1。

表3-1 常用的损失函数和相应的密度函数损失函数名称损失函数表达式()i cξ% 噪声密度()i p ξε-不敏感i εξ1exp()2(1)i εξε-+拉普拉斯iξ1exp()2i ξ- 高斯212i ξ 21exp()22i ξπ-标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合如图（3-3a ）所示，**()()1,2,...,,0i i ii i i i i y f x f x y i n εξεξξξ-≤+⎧⎪-≤+=⎨⎪≥⎩ （3.11）式中，*,i i ξξ是松弛因子，当划分有误差时，ξ，*i ξ都大于0，误差不存在取0。

这时，该问题转化为求优化目标函数最小化问题：∑=++⋅=ni i i C R 1**)(21),,(ξξωωξξω （3.12）式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数0>C 表示对超出误差ε的样本的惩罚程度。

求解式（3.11）和式（3.12）可看出，这是一个凸二次优化问题，所以引入Lagrange 函数：*11****111()[()]2[()]()n ni i i i i i i i n ni i i i i i i i i i L C y f x y f x ωωξξαξεαξεξγξγ=====⋅++-+-+-+-+-+∑∑∑∑ （3.13）式中，α，0*≥i α，i γ，0*≥i γ，为Lagrange 乘数，n i ,...,2,1=。

求函数L 对ω，b ，i ξ，*i ξ的最小化，对i α，*i α，i γ，*i γ的最大化，代入Lagrange 函数得到对偶形式，最大化函数：***1,1**111(,)()()()2()()ni i j j i j i j n ni i i i i i i W x x y ααααααααααε=====--⋅+--+∑∑∑ （3.14）其约束条件为：*1*()00,n i i i i i Cαααα=⎧-=⎪⎨⎪≤≤⎩∑ （3.15） 求解式（3.14）、（3.15）式其实也是一个求解二次规划问题，由Kuhn-Tucker 定理，在鞍点处有：****[()]0[()]00i i i i i i i i i i i i y f x y f x αεξαεξξγξγ+-+=+-+=⋅=⋅= （3.16）得出0*=⋅i i αα，表明i α，*i α不能同时为零，还可以得出：**()0()0i i i i C C αξαξ-=-= （3.17）从式（3.17）可得出，当C i =α，或C i =*α时，i i y x f -)(可能大于ε，与其对应的i x 称为边界支持向量（Boundary Support Vector ，BSV ），对应图3-3a 中虚线带以外的点；当),0(*C i ∈α时，ε=-i i y x f )(，即0=i ξ，0*=i ξ，与其对应的i x 称为标准支持向量（Normal Support Vector ，NSV ），对应图3-3a 中落在ε管道上的数据点；当0＝i α，0i α*＝时，与其对应的i x 为非支持向量，对应图3-3a 中ε管道内的点，它们对w 没有贡献。

因此ε越大，支持向量数越少。

对于标准支持向量，如果0(0)i i C αα*<<=，此时0i ξ=，由式（3.16）可以求出参数b ：1()()j li j j j i j i jj j i x SVb y x x y x x ααεααε*=*∈=--⋅-=--⋅-∑∑同样，对于满足0(0)i i C αα*<<=的标准支持向量，有()j i jj j i x SVb y x x ααε*∈=--⋅-∑一般对所有标准支持向量分别计算b 的值，然后求平均值，即**0*01{[()(,)][()(,)]}i j j i i j j j i Cx SVNSV i jjj i x SVCb y K x x N y K x x ααααεααε<<∈∈<<=---+---∑∑∑∑ （3.18）因此根据样本点),(i i y x 求得的线性拟合函数为b x x b x x f ni i i i +⋅-=+⋅=∑=1*)()(ααω （3.19）非线性SVR 的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间（Hilbert 空间）中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。

首先将输入量x 通过映射H R n→Φ:映射到高维特征空间H 中用函数b x x f +Φ⋅=)()(ω拟合数据),(i i y x ，n i ,...,2,1=。

则二次规划目标函数（3.14）式变为：***1,1**111(,)()()(()())2()()ni i j j i j i j n ni ii i i i i W x x y ααααααααααε=====---⋅Φ⋅Φ+--+∑∑∑ （3.20）式（3.20）中涉及到高维特征空间点积运算)()(j i x x Φ⋅Φ，而且函数Φ是未知的，高维的。

支持向量机理论只考虑高维特征空间的点积运算)()(),(j i j i x x x x K Φ⋅Φ=，而不直接使用函数Φ。

称),(j i x x K 为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：''(,)(,),,0p k x x x x d p N d =+∈≥; 高斯核：2''2(,)exp()2x x k x x σ-=-;RBF 核：''2(,)exp()2x x k x x σ-=-;B 样条核：''21(,)()N k x x B x x +=-;Fourier 核：'''1sin()()2(,)1sin ()2N x x k x x x x +-=-; 因此式（3.20）变成***1,1**111(,)()()()2()()ni i j j i i j n ni ii i i i i W K x x y ααααααααααε=====---⋅⋅+--+∑∑∑ （3.21）可求的非线性拟合函数的表示式为：*1()()()(,)ni i i i f x x bK x x bωαα==⋅Φ+=-+∑ （3.22）3.3.2 结构改进的支持向量回归机上节所述的SVR 基本模型其优化目标为：2*,,1**1min ()2..()()00,1,2,...,li i w b i i i ii i i i i w C s t y w x b w x b y i lξξξφεξφεξξξ=⎧++⎪⎪-⋅-≤+⎪⎪⋅+-≤+⎨⎪≥⎪⎪≥=⎪⎩∑ （3.23）SVR 结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。

Suykens 提出了最小二乘支持向量机（LS-SVM ）[105]，与标准SVM 相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化目标为：2,,11122..()1,2,,l i b i i i i Min s t y x b i lωξωγξωφξ=⎧+⎪⎪⎪=⋅++⎨⎪=⎪⎪⎩∑L （3.24）LS-SVM 与标准SVM 相比减少了一个调整参数，减少了l 个优化变量，从而简化了计算复杂性。

然而LS-SVM 没有保留解的稀疏性。

改进的最小二乘支持向量机有：递推最小二乘支持向量机[106]、加权最小二乘支持向量机[107]、多分辨率LS-SVM [108]及正则化最小二乘方法[109]等。

Schölkoph 等提出的ν-SVM 方法[110]，引入反映超出ε管道之外样本数据点（即边界支持向量数量）和支持向量数的新参数ν，从而简化SVM 的参数调节。

其优化目标为：2*2,,1**11()2..()()001,2,,l T i i b i i i ii i i i i min C l s t y x b x b y i lωξωωνεξξωφεξωφεξξξ=⎧⎡⎤+++⎪⎢⎥⎣⎦⎪⎪-⋅-≤+⎪⎪⋅+-≤+⎨⎪≥⎪⎪≥⎪=⎪⎩∑L （3.25）l ν表示边界支持向量机的上限和支持向量机的下限。

与标准支持向量机相比优化求解过程不需要设定ε值。

标准SVM 方法中，引入惩罚系数C 实行对超出ε-带数据点的惩罚。

在实际问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求不是很高。

因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C ，或对于每个样本数据点应采用不同的ε-不敏感函数，使回归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机（WSVM ）[111]，加权支持向量机可以通过对惩罚系数C 加权实现，也可以通过对ε加权实现。

通过对参数C 加权实现时，其优化目标为：(*)2*,,1*()1()2..()()0,1,2,,li i i b i i i ii i i i min C s s t x b y y x b i lωξωξξωφεξωφεξξ=*⎧++⎪⎪⎪+-≤+⎨⎪--≤+⎪⎪≥=⎩∑L （3.26a ）通过对ε加权实现时，其优化目标为：2*,,,1*1min ()2..()()0,01,2,li i w b i i i i i i i i i i i w C s t y w x b w x b y i l ξξξξφεξφεξξξ*=*⎧++⎪⎪⎪-⋅-≤+⎨⎪⋅+-≤+⎪⎪≥≥=⎩∑K （3.26b ） Friess 等提出了一种针对分类问题的SVM 变形算法-BSVM 算法[112]。