设D=(,)|1,2,kkxykN,其中nkxR为输入数据,kyR为输出类比。在权w空间中最小二乘支持向量机分类问题可以描述如下:
21,,11(,,)22minNTkkwbeabewwe(1)
约束条件:[()]1 1,,TkkkywxbekN (2)
定义拉格朗日函数:1(,,,)(,,)[()]1TkkkkkkLwbewbeywxbe (3)
其中,拉格朗日乘子kR。对上式进行优化。即对w,b,ek,αk的偏导数等于0。
110()0000[()]10NkkkkNkkkkkkTkkkkLwyxwLybLeeLywxbee(4)
上式可化为求解下面的矩阵方程:
00000000000TTwIZbYeIIIZYI (5)
即 100TTYbIYZZI (6)
其中,1122(),(),(),TTTTNNZxyxyxy
12,,,,[1,1,,1],TNYyyyI
1212,,,,,,,TNNeeee。
同时将Mercer条件代入到TZZ,可得:
()()(,)Tklklklklklyyxxyyxx (7)
因此,式(1)的分解可以通过解式(6)和式(7)
获得。
最小二乘支持向量机分类决策函数为1()sgn(,)Nkkkkyxyxxb(8)
其中:(,)是核函数,目的是从原始空间抽取特征,将原始空间中的样本映射为高维特征空间中的一个向量,以解决原始空间中线性不可分的问题。