的内积计算性质：
K ( x, z) ( x)T ( z)
• 则对偶问题可表示为
1 ˆ ) (a ˆi ai )(a ˆ j a j ) K ( xi , x j ) max D(a, a 2 ˆi ai ) yi (a ˆi ai ) (a s.t. ˆ a ) 0 (a
线性支持向量回归
y
y wT x b
*
+
0
-
支持向量回归通常采用ε -不 敏感损失函数，即在精度 ε 下用线性回归函数尽可能拟 合所有训练数据。由于允许 拟合误差的出现，引入了松 弛变量ξ i

ˆi | ) i max(0, | yi y
x
•支持向量回归的目标函数:
N 1 T * min w w C i i i 1 2


这里使用线性ε -不敏感损 失函数，书上是二次ε -不 敏感损失函数。
C为惩罚参数，它的作用是 控制对超出误差的样本的惩 罚程度。
• 约束条件:
yi wT xi b i wT xi b yi i*
i , i* 0
• 该问题的求解为二次优化问题，为了求解方便通过拉格朗 日函数转化为它的对偶问题：
对偶问题是拉格朗日函数的极大极小问题。首先求L对 ˆ 的极大，即得对偶问题的解。 w,b,ξ ,ξ *的极小，再求L对a, a
L 0 w L 0 b L 0 L 0 *
1 ˆi ai )(a ˆ j a j ) xi T x j (a 2 ˆi ai ) yi (a ˆi ai ) (a ˆ) max D(a, a s.t. ˆ a ) 0 (a
i i
ˆi ai ) 0 (a C ai i ˆi ˆi Ca
ˆi ai ) xi w (a
代入拉格 朗日函数
0 ai C ˆi C 0a
ˆ ) 的解 ˆ *是对偶问题 max D(a, a 假设 a* , a
* * ˆ a a 其中当 i i 非零时对应的样本为支持向量，任意 选择一个支持向量求b。 。
i i
0 ai C ˆi C 0a
构造原始问题的拉格朗日函数：
1 T w w C (i i ) ai ( wT xi b yi i ) 2 ˆi ( yi wT xi b i* ) ii ˆ ii* a ˆ, , ˆ) L( w, b, , * , a, a
ˆi ai ) xi w (a
ˆi ) xiT x j b y j (ai a
i
最后得到线性回归函数的表达式：
ˆi ai ) xiT x b y (a
非线性支持向量回归
• 非线性SVR的基本思想是通过事先确定的非线性映射φ (x) 将输入向量映射的一个高维特征空间中，然后在高维空间 中进行线性回归，从而取得在原空间非线性回归的效果。
ˆ a ) y (a ˆ a ) (a
i i i i i
2
s.t. ˆ a ) 0 (a
i i
0 ai C ˆi C 0a
ˆ ) 的解 ˆ *是对偶问题 max D(a, a 假设 a* , a
ˆ i 非零时对应的样本为支持向量，任意 其中当 a i - a 选择一个支持向量求b。
支持向量回归
• SVM本身是针对二分类问题提出的，支持向量回归是支持 向量机在函数回归领域的应用。 • SVR与SVM分类有以下不同： SVR所寻求的最优超平面不是 使两类样本点分得“最开”，而是使所有样本点离超平面 的“总偏差”最小。SVR就是要寻找一个线性回归函数
y wT x b
通过线性回归函数来预测输入变量对应的输出变量y。
i i
0 ai C ˆi C 0a
最后得到回归函数的表达式：
ˆi ai ) K ( xi , x) b y (a
首先将输入向量映射到高维特征空间中： 原始问题变为： 1 min L( w) wT w C ( i i* ) 2 s.t.
wT ( xi ) b yi i yi wT ( xi ) b i* i 0 i* 0 1 其对偶问题变为：max D(a, a ˆ ) (a ˆi ai )(a ˆ j a j ) ( xi )T ( x j )
原问题 对偶问题
1 T min L( w) w w C ( i i* ) 2 s.t. wT xi b yi i yi wT xi b i* i 0 0
* i
1 T ˆ ˆ ( a a )( a a ) x i i j j i xi 2 ˆi ai ) yi (a ˆi ai ) (a ˆ) max D(a, a s.t. ˆ a ) 0 (a
* *
ˆi ) ( xi )T ( x j ) b y j (ai a
i
ˆi ai ) ( xi ) w (a
最后得到回归函数的表达式：
ˆi ai ) ( xi )T ( x) b y (a
T ( xቤተ መጻሕፍቲ ባይዱ) ( xi ) 十分复杂，鉴于核函数优秀 • 在高维空间中计算 i