Peng Xinjun在2010年还提 出了最小二乘孪生支持向量 超球面（LS-TWSVH） [26] 结合一类支持向量机超球的 思想，分别正负两类数据集 用超球的方法进行分类 Jayadeva等人[7]在2007年 提出的一种改进的支持向量 机的方法
孪生支持向量机
MittulSingh等人在2011年 提出的退化的孪生支持向量 回归机[29]应用矩阵的内核 函数得到不同于原始的 TWSVR的新的退化的孪生 支持向量回归机
m
I ( h ( x ) ) j i 1
m
一对余多类总体错误率
基于 ELM算 法
阈值
正则 化系 数
正类样例 分错个数
1
多次训练浪费时间
改进
2 一类样例对其他样例，个数不平衡
多类分类总体错误率 （MTER）
本文工作一、多类总体错误率(MTER)
ELM一致逼近性
TPMESVM
训练 测试 时间(s) 时间(s) 0.4501 0.0012 0.2185 0.0000 0.1504 0.0000 1.4872 0.0024 0.4065 0.0127 3.6548 0.0567 0.4198 0.0044 1.6436 0.0893
数据集
训练 测试 时间(s) 时间(s) 1.8352 0.0049 0.9346 0.0013 05342 0.0204
ELM的SLFN 结构中隐含 节点个数未 知，但隐含 ELM 的训练 节点个数对 时间和误差 SLFN结构的 主要消耗在 稳定性，和 广义逆的计 算法精度有 算上，广义 很大影响， 逆计算误差 如何选择适 ELM算法 大时间长， 当的网络结 可以拓展 需要有更好 构至关重要 到数据的 的方法优化 分类和回 改进 归问题中， 采用ELM 核函数
总体错误率 与孪生极端学习机
答 辩 人：XXX 导 师：XXX 专 业：xxx 研究方向：xxx
主要内容
研究背景 研究现状 本文工作 总结展望
参考文献
研究背景
极端学习机
H T H T
†
2004年，黄广斌等提出了一种新的单隐藏层前馈型 神经网络ELM，其连接输入层与隐藏层的权值及偏 置是随机生成的，求解神经网络的输出层权重；
Nk
k
)
每一类的样例分开 训练，而不是一类 对其余类，避免不 平衡数据集
相同机制下， 只需要训练一 次
本文工作二、孪生参数间隔极端支持向量 机(TPMESVM)
min 1 w 2
2
2
v1 T c e (( X ) w eb ) 1 T l l
s.t. ( X ) w eb t
研究现状
M.ArunKumar等在2009年提出 的最小二乘孪生支持向量机 (TWSVM) [23]把SVM中的经典 最小二乘算法应用到TWSVM中 Peng Xinjun在2010年提出了v-孪生 支持向量机（v-TWSVM） [25]，同 样把SVM中比较成熟的v-SVM算法 运用到孪生支持向量机的求解中
缺点：求解过程复杂、不能 很好解决大样本问题、对特 殊数据集误差较大
分类问 题中应 用SVM 成熟算 法
回归问 题中应 用SVM 成熟算 法
孪生参 数间隔 支持向 量机
研究现状
Qiuge Liu等人[11]提出极端支持向 量机（ESVM）。用随机ELM核代 替传统的SVM核，简化了计算步骤。
2011年Yubo Yuan等人[13] 提出基于ELM的关于回归问 题的最优解有很强的鲁棒性。
总结
一、提出了针对多类分类问题 的快速学习算法
既可以避免多次计算过程时不必要的计算过程从而节约时间，同 时把每一类都各自分别计算从而避免产生不平衡的数据。
二、提出了快速的等式约束的孪生参 数间隔极端支持向量机 （TPMESVM）
用ELM核替换原始的孪生参数间隔支持向量机的SVM核，使得核函数的 选取能够更加明确、稳定 ；进而把最优化问题转化成了等式约束，从而 仅需求解方程组就能得到优化问题的解，简化了运算步骤 。
参考文献






[1] G. B. Huang, Q. Y. Zhu, and C. K. Siew. Extreme learning machine: Theory and applications. Neurocomputing, 2006(70) : 489–501. [2] T. M.Mitchell. 机器学习. 北京:机械工程出版社, 2003. [3] G..B. Huang, L. Chen, and C.K. Siew. Universal approximation using incremental constructive feedforward networks with random hidden nodes. IEEE Transactions on Neural Networks, 2006, 17(4) : 879–892. [4] G..B. Huang, H. M. Zhou and X. J. Ding et al. Extreme learning Machine for Regression and Multi-Class Classification. IEEE, 2011: 1083-4419. [5] H. J. Rong, Y. S. Ong and A. H. Tan et al. A Fast Pruned-extreme Learning Machine for Classification Problem. Neurocomputing , 2008, 72(1-3) : 359-366. [7] Y. Miche, A. Sorjamaa and P. Bas et al. OP-ELM: Optimally pruned extreme learning machine. IEEE Trans Neural Networks , 2010, 21(1): 158–162. [8] G. B. Huang and L. Chen. Enhanced random search based incremental extreme learning machine. Neurocomputing, 2008, (71): 3060–3068. [9] S. X. Lu, G. Q. Zhang, and X. Z. Wang. Rank Reduced Matrix Method in Extreme Learning Machine. 9th Intehnational Symposium on Neural Networks Shenyang, 2012: 11-14. [10] P. Horata, S. Chiewchanwattana and K. Sunat. Robust extreme learning machine. Neurocomputing, 2013, 102(15): 31-44. [11] Q. Liu, Q. He, and Z. Shi. Extreme support vector machine classifier. Lecture Notes in Computer Science，2008, 50(12): 222– 233. [12] K. Ann, and T. Deterministic Neural Classification. Neural Computation, 2008(20): 1565-1595. [13] Y. B. Yuan, Y. G. Wang and F. L. Cao. Optimization approximation solution for regression problem based on extreme learning machine. Neurocomputing, 2011, doi:10.1016/j.neucom, 2010.12.037. [14] B. Frénay and M. Verleysen. Using SVMs with randomized feature spaces: an extreme learning approach. ESANN 2010 proceedings, European Symposium on Artificial Neural Networks-Computational Intelligence and Machine Learning. Bruges(Belglum), 2010: 28-30. [15] B. Frénay and M. Verleysen. Parameter-insensitive kernel in extreme learning for non-linear support vector regression. Neurocomputing, 2011 doi:10.1016/j.neucom, 2010.11.037. [16] Q. He, C.Y. Du and Q. Wang et al. A parallel incremental extreme SVM classifier. Neurocomputing, 2011, doi:10.1016/j.neucom, 2010.11.036. [17] G. B. Huang, X.J. Ding and H.M. Zhou. Optimization method based extreme learning machine for classification. Neurocomputing, 2010 (74): 155-163. [18] 邓乃扬, 田英杰. 数据挖掘中的新方法------支持向量机[M]. 北京: 科学出版社, 2004. [19] Lin, C. Fu. Fuzzy support vector machine. Neural Netmorks, 2002: 464-471. [20] I. Guyon, J. Weston and S. Barnhill et al. Gene selection for cancer classification using support vector machines. Machine Learning, 2002, (46N C i 2 i 1