包外估计：out-of-bag estimation
模型选择
• 三个关键问题：
– 如何获得测试结果 – 如何评估性能优劣 – 如何判断实质差别
评估方法 性能度量 比较检验
性能度量
性能度量（performance measure）是衡量模型泛化能力的评价标准，反映了任 务需求
使用不同的性能度量往往会导致不同的评判结果 什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。
比较检验
评估方法
关键：怎么获得“测试集”？
原则：测试集与训练集“互斥”
常见方法：
留出法（hold-out） 交叉验证法（cross validation） 自助法（bootstrap）
留出法
保持数据分布一致性（例如：分层采样） 多次重复划分（例如：100次随机划分） 测试集不能太大、不能太小（例如：1/5~1/3）
查准率：pre全cis率ion，查全率：recall，sensitivity, 召
回率， R
P = TP
所有的正例中被正确预测出的TP比+ Fp
列
R = TP
TP + FN
True Positive Rate, TPR, (Sensitivity) True Negative Rate, TNR, (Specificity) Positive Predictive Value, PPV False Positive Rate, FPR False Negative Rate, FNR False Discovery Rate, FDR
机器学习的模型评估与选择
泛化误差 vs 经验误差
泛化误差：在“未来”样本上的误差
经验误差：在训练集上的误差，亦称“训练
误差”
新样
本数
据
训练数 据
模型
新样本
属于什
么类别？
过拟合 vs 欠拟合
模型选择
三个关键问题：
如何获得测试结果 评估方法
如何评估性能优劣
性能度量
如何判断实质差别
性能度量
回归任务
分类任务
错误率与精度 查准率、查全率与F1 ……
回归模型评估有三种方法，分别是：平均绝对值误差、均方误差和R平方 值 （1）平均绝对误差（MAE）就是指预测值与真实值之间平均相差多大
（2）均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE 。值越小，说明预测模型描述实验数据具有更好的精确度。
投票机制
• 简单投票机制
– 一票否决(一致表决) – 少数服从多数
• 有效多数(加权)
– 阈值表决
• 贝叶斯投票机制
但也可以使用SVM、Logistic回归等其他 分类器，习惯上，这些分类器组成的“总 分类器”，仍然叫做随机森林。
PR图：
学习器A优于学习器C 学习器B优于学习器C 学习器A？？学习器B
平衡点 (BEP)
（Break-Even Point, ） 学习器A优于学习器B 学习器A优于学习器C 学习器B优于学习器C
性能度量－F1度量
性能度量－ROC与AUC
https:///shenxiaoming77/article/details/726 27882
• 随机森林在bagging基础上做了修改。
– 从样本集中用Bootstrap采样选出n个样本；
– 从所有属性中随机选择k个属性，选择最佳 分割属性作为节点建立CART决策树；
– 重复以上两步m次，即建立了m棵CART决 策树
– 这m个CART形成随机森林，通过投票表决 结果，决定数据属于哪一类
（3）R平方值，表征回归方程在多大程度上解释了因变量的变化，或者说 方程对观测值的拟合程度如何
性能度量－错误率与精度
错误率
å E(
f ; D)
=
1 m
m i=1
I(
f
(xi )
¹
yi )
精度
å acc( f ; D)
=
1 m
m i=1
I(
f
(xi )
=
yi ) = 1-
E(
f ;D)
性能度量－查准率与查
集成学习
定义：通过构建并结合多个学习器来完成学习任务，又
称为：多分类学习器系统、基于委员会的学习等。
集成学习－随机森林
• Bagging 策略
– bootstrap aggregation – 从样本集中重采样(有重复的)选出n个样本 – 在所有属性上，对这n个样本建立分类器
(ID3、C4.5、CART、SVM、Logistic回归 等) – 重复以上两步m次，即获得了m个分类器 – 将数据放在这m个分类器上，最后根据这m 个分类器的投票结果，决定数据属于哪一类
K-折交叉验证法
当K=m时，则得到“留一法”（leave-one-out, LOO）
自助法
基于“自助采样”（bootstrap sampling）
Pull up by your own bootstraps 有放回采样、可重复采样 训练集与原样本集同规模 数据分布有所改变 约有36.8%的样本不出现