基于支持向量机的回归应用研究
摘要：本文通过 -支持向量机进行非线性回归的实例研究，通过
交叉验证确定最优系数。结果在大部分的数据点，都取得了良好的效
果。

关键词：svm；非线性回归；交叉验证
1 引言[1]
支持向量机是在统计学习理论的基础上产生出了一种新型的学
习机器。支持向量机算法在解决小样本问题的同时，又能解决神经网
络算法中的高维问题和局部极值问题，使其具有更大的优势，其结构
也非常简单，为统计学习理论的实际应用提供了有效的工具。

支持向量机使用了大间隔因子来控制学习机器的训练过程，使其
只选择具有最大分类间隔的分类超平面从而使其在满足分类条件的
情况下，又具有高的推广能力。寻找最优超平面的过程最终转化为二
次型优化问题，从理论上讲，得到的是全局最优解。与传统的学习机
器不同的是，支持向量机是将原始的模式矢量映射到非常高维的特征
空间，仍然使用大间隔因子在高维特征空间中寻找最大间隔超平面。
得到的高维特征空间中的超平面对应着原始模式空间中的非线性分
类面。而实际上，其优化过程并没有真正在高维空间中进行，只是通
过一些具有特殊性质的核函数，将高维空间中的内积运算转化为原始
空间中核函数的运算，从而巧妙地避免了在高维空间中处理问题的困
难。[2]
支持向量机的结构非常简单，从表面上看，它类似于三层前馈神
经网络。但实际上它与神经网络有着根本性的不同。简单地说，支持
向量机的隐层是随着所要解决的问题和规模而自动调节的，从而使学
习机器的复杂度总是与实际问题相一致，因而可以自适应地解决各种
不同的问题。[3]

2 回归研究
本文采用支持向量机做非线性回归研究。训练数据X为10维向
量，Y为1维向量。训练数据Y值如图1所示。

由图2和图3可见，大部分预测数据都比较准确，只是在个别点
（第二十个点）误差较大。

3 结论
本文应用只支持向量机做回归预测研究，结果在大部分数据都取
得良好效果，个别点误差较大。如果在参数的选择上能有更好的方法，
预测会取得更好的效果。

参考文献
[1] 邓乃扬.田英杰著.数据挖掘中的新方法――支持向量机 .科
学出版社，2004,6.

[2] 许焕新,田沛,许小刚.小波包分析在汽轮机故障诊断中的应，
电力科学与工程，2005,3.

[3] 刘志刚,李德仁,秦前清,等.支持向量机在多类分类问题中的
推广，计算机工程与应用，2004.7.