非线性的函数逼近

同样用非线性变换 x ( x) ，将输入空间映射成 高维特征空间。
引入核函数，变换后的最优二次规划变换为 ：
l l l * * min ( i i )( j j ) k ( xi , x j ) i ( yi ) i ( yi ) i , j 1 i 1 i 1
支持向量回归机
——赵星
2008-9-12
1
支持向量机在回归中的理论
函数逼近问题，即是存在一个未知函数 ： y f ( x), x Rn , y R 要求函数 f : Rn R ,使得函数和函数 之间的差距为： R( f , f ) L( f , f )dx 由于函数f 的未知，我们只能依靠采集得到的样本 ( x1, y1 ),( x2 , y2 ), ,( xr , yr ), x i Rn , yi R 来求取 f 惩罚函数采用的是 -不敏感损失函数 ，定义为：
2008-9-12 7
一维回归问题
2008-9-12
8
一维回归问题（书本中）
2008-9-12
9
二维回归问题

0.09
支持向量个数
105
RBF核
2 4 2 4 2 4
参数C
C=1.51
0.04 0.0644
yi
272 272
sin
C=1.44 C=1.5
xi 1 xi 2 2 2 xi 1 xi 2
2
2
i , i 1,..., 400
其中噪声 i 服从正态分布
Ei 0, Ei2 2 0.12
2008-9-12 10
二维回归问题
2008-9-12
11
2008-9-12
12
i 1 i 1
2008-9-12 3
l
l

通过上式得到对偶优化问题：
l l l * * min ( i i )( j j ) xi , x j i ( yi ) i ( yi ) i , j 1 i 1 i 1

转化为二次规划问题，建立Lagrange方程：
l l 1 2 * l ( w, i , ) w C (i i ) i ( i yi w, xi b) 2 i 1 i 1 * i
i ( i yi w, xi b) (ii i*i* )

0, f ( xi ) yi L( xi , yi ) f ( xi ) yi , 其他
2008-9-12 2

因此用于函数逼近的支持向量机表示为：
l 1 2 min w C (i i* ) 2 i 1
yi w, xi b i s.t w, xi b yi i * , i i 0
6
一维回归问题

0ቤተ መጻሕፍቲ ባይዱ05 0.2 0.5 0.5

0.075 0.3 0.75 0.1
参数 C
C=1 C=1 C=1 C=0.2
支持向量个数
19 17 12 83
sin xi yi i , i 1,...,100 xi
其中噪声 i 服从正态分布
Ei 0, Ei2 2

l * ( i )0 i s.t i 1 * [0, C ] i, i
2008-9-12
5
实际效果模拟
sin x y x 0.1， 0.2， 0.3 ker ' rbf '(径向基核函数)
2008-9-12
当 增大时，支持向量的个数会减少。
l * ( i )0 i s.t i 1 * [0, C ] i, i
* ' [ ', 通过求解可以得到 l l ']

通过求解发现在 -不敏感区域外的点的对应 i 不 为零，而区域内的点的对应 i 为零。
4
2008-9-12