极限学习机的回归拟合及分类
单隐含层前馈神经网络（single-hidden layer feedforward neural network）以其良好的学习能力在许多领域中得到了广泛的应用。

然而，传统的学习方法（如BP算法等）固有的一些缺点，成为制约其发展的主要瓶颈。

前馈神经网络大多采用梯度下降方法，该方法主要存在以下几方面的缺点：
（1）训练速度慢。

由于梯度下降法需要多次迭代以达到修正权值和阈值的目的，因此训练过程耗时较长。

（2）容易陷入局部极小点，无法达到全局最小。

（3）学习率η的选择敏感。

学习率η对神经网络的性能影响较大，必须选择合适的η，才能获得较为理想的网络。

若η太小，则算法收敛速度很慢，训练过程耗时长；
反之，若η太大，则训练过程可能不稳定（收敛）。

因此，探索一种训练速度快，获得全局最优解，且具有良好的泛化性能的训练算法是提升前馈神经网络性能的主要目标，也是近年来的研究热点和难点。

本文将介绍一个针对SLFN的新算法——极限学习机（extreme learning machine,ELM），该算法随即产生输入层和隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要在设置隐含层神经元的个数便可以获得唯一的最优解。

与传统的训练方法相比，该方法具有学习速度快、泛化性能好等优点。

1.1ELM的基本思想
典型的单隐含层前馈神经网络结构如图1所示，该网络由输入层、隐含层和输出层组成，输入层与隐含层、隐含层与输出层神经元间全连接。

其中，输入层有n个神经元，对应n个输入变量；隐含层有l个神经元；输出层有m个神经元，对应m个输入变量。

图1
不是一般性，设输入层与隐含层的连接权值W为
1112121
22
212
n n l l ln l n
W ωωωωωωωωω⨯⎡⎤⎢⎥⎢⎥
=⎢⎥⎢
⎥⎣⎦
其中，ji ω表示输入层第i 个神经元与隐含层第j 个神经元间的连接权值。

设隐含层与输出层的连接权值β为
1112121
2221
2
m m l l lm l m
ββββββββββ⨯⎡⎤⎢⎥⎢⎥
=⎢⎥⎢⎥⎣⎦
其中，jk β表示隐含层第j 个神经元与输出层第k 个神经元间的连接权值。

设隐含层神经元的阈值b 为
121
l l b b b b ⨯⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦
设具有Q 个样本的训练集输入矩阵X 和输出矩阵Y 分别为
1112
121
2221
2
Q Q n n nQ n Q x x x x x x X x x x ⨯⎡⎤⎢⎥⎢
⎥=⎢⎥⎢⎥⎢⎥⎣⎦ ，11
12
121
2121
2
Q Q m m mQ m Q
y y y y y y Y y y y ⨯⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ ，1,2,3,,j Q =
其中，12[,,,]i i i in W ωωω= ，'12[,,,]i j j nj X x x x = 。

上式可表示为
'H T β=
其中，'
T 为矩阵T 的转置；H 称为神经网络的隐含层输出矩阵，具体形式为
12121211121211122221122(,,,,,,,,,,,)()()()()()()()()()l l Q l l l l Q Q l Q l Q l
H b b b x x x g x b g x b g x b g x b g x b g x b g x b g x b g x b ωωωωωωωωωωωω⨯=
+++⎡⎤
⎢⎥
+++⎢
⎥⎢⎥⎢⎥+++⎢⎥⎣⎦。