极限学习机
2 图说极限学习机原理
其实说到机器学习的学习,最先被介绍的基本都是感知机算法,但是仔细一想,其实也可以
从极限学习机的角度进行最开始的拓展性介绍 ELM 是一种新型的快速学习算法, 对于单隐层神经网络, ELM 可以随机初始化输入权重和偏 置并得到的处理方便带入到 lagrange 方程的模型之中以便进行进一 步的求出局部极值的处理,又是万恶的 Lagrange
关于 ELM 极限学习机
0 引言
极限学习机不是一个新的东西,只是在算法(方法)上有新的内容。在神经网络结构上,就 是一个前向传播的神经网络,结构上也没有什么大的创新,感觉就是 BP 神经网络的经典结 构的升级
也有比较明显的创新点,比较值得拿来讨论的如下: 1)输入层和隐含层的连接权值、隐含层的阈值可以随机设定,且设定完后不用再调整。这 和 BP 神经网络不一样,BP 需要不断反向去调整权值和阈值。因此这里就能减少一半的运算 量了。不过在 BP 网络中其实初始化阈值与权值也是在比较靠前的时候随机化拟定的 2) 隐含层和输出层之间的连接权值β不需要迭代调整, 而是通过解方程组方式一次性确定。 研究表明,通过这样的规则,模型的泛化性能很好,速度提高了不少。 一言概之,ELM 最大的特点就是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs), 在保证学习精度的前提下比传统的学习算法速度更快。
1 关于极限学习机的概念
极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算 法。 ELM 最大的特点是对于传统的神经网络, 尤其是单隐层前馈神经网络(SLFNs), 在保证学习精 度的前提下比传统的学习算法速度更快。不过收敛的速度快不代表效果一定就好