2.3 性能度量
衡量模型泛化能力的评价标准 2.3.1 错误率与精度 错误率是分类错误的样本数占样本总数的比例 精度是分类正确的样本数占样本总数的比例
2.3.2 查准率、查全率与F1
对于二分类问题中，可将样例根据真实类别与学习器预测类型的组合划 分为真正例、假正例、真反例、假反例四种情形。
真实情况
2.4.3McNemar检验
McNemar主要用于二分类问题，与成对t检验一样也是用于比较两个学习器的 性能大小。主要思想是：若两学习器的性能相同，则A预测正确B预测错误数应等 于B预测错误A预测正确数，即e01=e10，且|e01-e10|服从N（1，e01+e10）分布。
2.4.4 Friedman检验和Nemenyi后续检验
p是样例为正例的概率
FPR是假正例率，FNR = 1 - TPR
2.4 比较检验
2.4.1假设检验
假设检验的基本思想是 小概率反证法 思想。小概率思想是指小概率事 件（P<0.01或P<0.05）在一次试验中基本上不会发生。反证法思想是先 提出假设 (检验假设 H0)，再用适当的统计方法确定假设成立的可能性大 小，如可能性小，则认为假设不成立，若可能性大，则还不能认为不假 设成立。
假正例率FPR：假正例样本数/ 真实情况是是反例的样本数
基于ROC曲线的学习器性能评价规则 1. 当曲线没有交叉的时候：外侧曲线的学习器性能优于内侧； 2. 当曲线有交叉的时候：比较ROC曲线下的面积即 AUC (Area Under ROC Curve)
2.3.4 代价敏感错误率与代价曲线
在现实任务汇总常会遇到这样的情况：不同类型的错误所造成的后果 不同。为权衡不同类型错误所造成的的不同损失，可为错误赋予“非均等 代价”(unequal cost) 。如下图所示，正确判断的代价显然应该为 0，错误判 断的代价之间的比值会影响我们对学习器的改造。
F1是基于查准率与查全率的调和平均 (harmonic mean):
2.3.3 ROC和AUC
根据实值或概率预测结果，我们可以将测试样本进行排序，“最可能”是正例的排在 前面“最不可能”是正例的排在最后面。分类过程相当于在这个排序中以某个“截断点” 样本分为两个部分，前一部分判做正例，后一部分则判作反例。 在不同的应用任务中，我们可根据任务需求来采用不同的截断点。
正例 反例
预测结果
正例
反例
TP（真正例）
FN（假反例）
FP（假正例）
TN（真反例）
P=??????+??????
R=??????+??????
“平衡点”B（reakEvent Point，简 称BEP）,就是查 准率与查全率时 的取值。
但BEP还是过于简化了些，更常用的是F1度量
P=2?x???+x????
于是我们可将 D'用作训练集， D\D'用作测试集；这样，实际评估的 模型与期望评估的模型都使用 m个训练样本，而我们仍有数据总量 约1/3的、没在训练集中出现的样本用于测试 。
2.2.4 调参与最终模型
现实中常见的做法，是对每个参数选择一个范围和变化 步长，例如在 [0,0.2]范围内以0.05为步长，则实际要评估的 候选参数值是 5个，最终从这 5个值中产生选定值。
排序本身质量的好坏，体现了综合考虑学习器在不同任务下的“期望泛化性能”的好 坏，或者说“一般情况下”泛化性能的好坏R。OC曲线则是从排序本身质量的好坏的角度 来研究学习器泛化性能。
ROC全名“受试者工作特征”曲线， 以“真正例率”为纵轴，以“假正 例率”为横轴。
全率）
上述的三种检验都只能在一组数据集上，F检验则可以在多组数据集进行 多个学习器性能的比较，基本思想是在同一组数据集上，根据测试结果（例： 测试错误率）对学习器的性能进行排序，赋予序值1,2,3…，相同则平分序值， 如下图所示：
缺点比较：我们希望评估的是用D训练的模型。但在留出法和交叉验证法中，由 于保留了一部分样本用于测试，因此实际评估的模型所使用的训练集比D小，这 必然会引入一些因训练样本规模不同而导致的估计偏差。
2.2.3 自助法 “自助法”是针对上述缺点的一个比较好的解决方案，它直接以自
助采样法为基础。给定包含 m个样本的数据集 D，我们对它进行采 样产生数据集 D'：每次随机从 D中挑选一个样本，将其拷贝放入 D'， 然后再将该样本放回初始数据集 D中，使得该样本在下次采样时仍 有可能被采到；这个过程重复执行 m次后，我们就得到了包含 m个 样本的数据集 D'，这就是自助采样的结果。
2.4.2 交叉验证t检验
基本思想：若两个学习器的性能相同，则使用相同的训练/测试集得到的测试错误 率应相同。
假设检验的前提：测试错误率均为泛化错误率的独立采样。
k折交叉验证产生的K对测试错误率：先对每对结果求差，若两个学习器性能相同 则差值均值应为0。因此根据差值对“学习器AB性能相同”做t检验，计算差值的均值 和方差，在显著度确定条件下，判断变量是否小于临界值，若小于则无显著差别， 否则可判断平均错误率较小的学习器性能较优。 因样本有限，加查验证不同轮次训练集有重叠，测试错误率实际上不独立，会导 致过高估计假设成立的概率。
第2章 模型评估与选择
2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 比较检验 2.5 偏差与方差
2.1 经验误差与过拟合
经验误差 VS 泛化误差
过拟合 VS 欠拟合
2.2 评估方法
2.2.1、留出法（hold-out） 直接将数据集D划分为两个互斥的集合。
2.2.2交叉验证法（cross validation） 将数据集D划分为K个大小相似的互斥子集，每次用K-1个子集的并集作为训练集， 余下的子集作为测试集。
可令cost ij为把i类样本错判为 j类 样本的代价，对所有类型错误的 数量与其错误代价的乘积求和， 再除以样本总数量，就得到代价 敏感（cost-sensitive ）错误率。
在非均等代价下， ROC曲线不能直接反映出学习器的期望总体代 价，而“代价曲线”则可以达到目的。代价曲线的横轴是正例概率 代价P(+)cost，纵轴是归一化代价 cost —norm