当前位置:文档之家› 最小二乘支持向量机的研究与应用

最小二乘支持向量机的研究与应用


0 引言 支持向量机 ( Support Vector Machine) 是 Vap nik 等人根据统计学理论提出的一种新的通用学习方法 [ 1 ] ,它是建立 在统计学理论的 VC 维 ( Vap nik Chervo nenks Dimensio n) 理论和结构风险最小原理 ( St ruct ural Risk Minimizatio n Induc2
x′ i = x i - x min x max - x min ( 9)
经变换后 , 数据取值在 0 - 1 之间 。 2 . 3 实现步骤 ( 1) 选取数据并按照 ( 9) 进行归一化处理 。 由于股市系统所表现的非线性动力学特性 , 预测一直是一难题 , 本文将 (2) 设定 L S - SV M 应用于对股市这一时间序列的预测 。 文中所有样本数据下载自大智慧 ( http :/ / www. gw. co m. cn/ ) 。 (3) 用样本数据训练 ,建立模型 。 参数 。 Gam = 10 ,sig2 = 0. 5 , Type = ’ f unction estimatio n’ 。 用 t rainlssvm () 实现对网络的 训练 , 得到回归系数α i 和偏差 b , 从而得出如 ( 8 ) 所示的预测模型 。 ( 4) 用训练好的模型进行预测 , 并将预测结果按 ( 9) 反归一化还原 。 3 仿真实验与结论 按上述步骤编写程序 , 并在 MA TL AB 7. 0 平台上完成实验 。 选取 2008. 3. 6 - 2008. 6. 2 共 60 个上证指数五日均价作 为学习样本训练网络 ,将获得的模型用于其后 5 个交易日的预测 。 用 L S - SVM 仅用 23 步即收敛 。 图 1 是训练结果与实际 数据对比图 。 表 1 上证指数预测结果 日期
1
K( x 1 , x 1 ) +
i =1
α ∑
i
= 0
1
C
… … …
K( x 1 , x l )
b
0




1
K( x l , x1 )
K( x l , x l ) +
1
C
α l
用最小二乘法求出回归系数α i 和偏差 b , 得非线性预测模型 :
l
f ( x) =
i =1
αK( x, x ) ∑
i i
[6 ] 时刻的胜负往往取决于乒乓球运动员体能的强弱 。这对乒乓球运动员的专项耐力提出了更高的要求 。
发展专项耐力素质的训练方法 。中 、 长距离跑 、 越野跑 、 50 米变速跑 ( 反复练习 ) ; 组合技术练习 : 如左推右攻 、 推挡 侧身攻后扑正手大角 、 正反手削长短球等练习 ( 高强度) ; 移动中连续扣杀 200 - 300 个多球练习以及各种跳绳练习等 。 正确认识新规则 、 新器材的实施和使用对乒乓球运动规律的影响是进行科学的体能训练的基础 ,乒乓球运动员只有 具备良好的体能 ,才能保证先进的技 、 战术得以实施 ,科学的 、 大运动量的训练是保持我国乒乓球运动继续长盛不衰的有 力保障 。 参考文献 :
2 σ 2
径向基 ( RB F) 函数 。 K( x , x i ) = exp ( -
) , 每一个基函数的中心对应于一个支持向量 , 此时得到的支持向量机
是径向基函数分类器 [ 4 ] ; ( 3) Sigmoid 函数 。 K ( x , x i ) = tan h ( v ( x ・x i ) + C) , 此时 SVM 实现的就是一个两层的多层感知 器神经网络 。 在本文中选择径向基 ( RB F) 函数作为核函数 。 2 . 2 数据预处理 为了满足网络对输入输出的要求 , 在训练模型之前按 ( 9) 式对该批数据进行线性归一化处理 [ 5 ] :
射到特征空间 φ( x i ) , 在高维特征空间中构造最优决策函数 : φ( x) + b y ( x) = ω・ 这样非线性估计函数转化为高维特征空间中线性估计函数 , 利用结构风险最小化原则 , 寻找 ω, b 就是最小化 :
R = ( 1)
1 ω 2 ‖ ‖ + C ・Rem p 2
( 2)
tive Principle) 基础上的 ,能较好地解决小样本 、 非线性 、 高维数和局部极小点等实际问题 ,已成为机器学习界的研究热点
之一 ,并成功地应用于分类 、 函数逼近和时间序列预测等方面 。但是 ,SVM 在解决大样本问题时面临一些问题 ,比如二 次规划 ( Q P) 问题 ,传统的算法在每一步迭代中要进行核函数的矩阵运算 ,而核函数的矩阵占有的内存随样本数呈平方 增长 。由于迭代误差的积累 , 会导致算法的精度无法接受等 。最小二乘支持向量机 [ 2 ] 是支持向量机的改进 , 与标准
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.

第 1 期 冯学军 : 最小二乘支持向量机的研究与应用 5L = 0 5ω 5L = 0 5b 5L = 0 ξ 5 i ω= ( 5) ; 可得 :
) = min J (ω,ξ
1ω ω 2 ( s. t . y i = φ( x i ) ・ ω + b +ξ ・ +C ξ i i , i = 1 , 2 , …, l) 2 i =1
l

( 3)
其中 , C 为常数 , b 为偏差 。 用拉格朗日法求解这个优化问题 :
) = L (ω, b,ξ,α
l
・113 ・
l
i =1
α・ φ( x ) ∑
i i
( 6) 。
5L = 0 α 5 i ξ ( xi) ・ ω + b +ξ 其中α i = C・ i ,φ i - yi = 0 。 φ( x j ) , 优化问题转化为求解如下线性方程组 : 定义核函数 K ( x i , x j ) = φ( x i ) ・ 0 1 … 1
3Leabharlann 2009 年 2 月安庆师范学院学报 ( 自然科学版)
Journal of Anqing Teachers College (Natural Science Edition)
Feb. 2009 Vol. 15 No . 1
第 15 卷第 1 期
最小二乘支持向量机的研究与应用
冯学军
( 安庆师范学院 计算机与信息学院 ,安徽 安庆 246133)
2 ω‖ 其中 ‖ 控制模型的复杂度 , C 是正则化参数 , 控制误差样本的惩罚程度 , Rem p 为误差控制函数 , 即ε不敏感损失
函数 , 常用的损失函数有线性ε 损失函数 、 二次ε 损失函数 、 Huberg 损失函数 , 选取不同的损失函数 , 可构造不同形式的支 持向量机 。 根据结构风险最小化原理 , 回归问题表示成约束优化问题 :
・121 ・
专项耐力素质 。由于乒乓球运动项目的特点 ,乒乓球的耐力素质是一种在运动节奏和强度均处于不断变化 ,并与速 度、 力量和灵敏紧密相联的专项耐力素质 。40 毫米大球的使用 、 无遮挡发球规则的施行使乒乓球比赛中的相持球回合 次数明显增多 ,无机胶水的使用减慢了击球速度 ,更加重了这种趋势 。据有关研究 ,一场紧张 、 激烈的乒乓球比赛 , 挥臂 次数为 1 000 次左右 ,血压平均升高 16 mm Hg ,脉搏平均为 192 次/ 分 ,体重下降平均 0. 5 - 0. 81 公斤 ,握力变化无规律 ; 以最好成绩平均每天 3 次 6 场 18 局为例 ,除去拣球时间 ,一天实际比赛时间为 150 - 180 分钟 ,大型比赛一般为 10 - 14 天 。由此可见 ,乒乓球运动员比赛的生理负荷量是很大的 。随着世界优秀乒乓球运动员技战术差距逐渐缩小 ,比赛关键
图 1 训练结果与实际数据对比图 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
( 下转第 121 页)

第 1 期 倪大为 : 新赛制下乒乓球运动员体能训练的研究
摘 要 : 支持向量机是近年来机器学习领域出现的新的分类方法 。在介绍支持向量机的基本原理及基于最小二乘 支持向量机算法的基础上 ,结合一个实例阐述了最小二乘支持向量机在预测方面的应用 ,通过 MA TL AB 仿真实验 ,结果 表明该方法是有效的 。 关键词 : 支持向量机 ; 最小二乘法 ; 预测 中图分类号 : TP181 文献标识码 : A 文章编号 : 1007 - 4260 (2009) 01 - 0112 - 02
( 上接第 113 页)
[ 1 ] 汪杰 . 乒乓球改大球后技术动作和打法的变化 [J ] . 武汉体育学院学报 ,2005 (7) :66 - 67. [ 2 ] 尚志强 . 乒乓球规则变化对乒乓球运动产生影响的研究 [J ] . 吉林体育学院学报 ,2005 ,21 (1) :66 - 67. [ 3 ] 张小蓬 . 11 分制深入研究 [J ] . 乒乓世界 ,2004 (12) :64 - 65. [ 4 ] 肖丹丹 . 新规则对乒乓球运动员体能的新要求 [J ] . 河北体育学院学报 ,2004 (3) :1 - 2. [ 5 ] 吴焕群 . 乒乓球运动员的专项素质及其训练 [J ] . 天津体育学院学报 ,2001 (2) :72 - 73. [ 6 ] 于庆川 . 乒乓球规则的演变对乒乓球发展的影响 [J ] . 北京 : 体育大学学报 ,2000 ,23 (3) :425 - 427.
也遵循结构风险最小化原则 ,将不等式约束改为等式约束 ,将经验风险由偏差的一次方改为二次方 , 将求解二次规划问 题转化为求解线性方程组 ,避免了不敏感损失函数 ,大大降低了计算复杂度 ,且运算速度高于一般的支持向量机 。 最小二乘支持向量机算法描述如下 :
相关主题