统计预测算法选讲随机森林算法原理与应用报告人：刘思叶◆绪论◆统计预测◆统计预测发展历程◆随机森林研究现状◆分类决策树◆决策树引导◆决策树定义◆决策树构造◆决策树构造实例◆随机森林◆随机森林引导◆随机森林原理◆随机森林特性◆随机森林优化方法◆随机森林在遥感中应用何为预测？《韦伯斯特辞典》中预测的定义为：“以现有的相应资料的理论研究和分析成果来预报未来的某些事件或情况”。
“知斗则修备，时用则知物，二者形则万货之情可得而观已。
”统计预测是在大量统计资料的基础上，运用社会、经济、环境统计和数理统计方法研究事物发展变化趋势和方向的预测方法。
统计预测的方法按照其发展时间顺序可以分为以下三个阶段：◆结构计量模型阶段◆时间序列模型阶段◆数据挖掘和智能预测阶段◆结构计量模型阶段结构计量模型是先找到关于某个问题的理论，并先假定这个理论是正确的，然后根据该理论来设定具体的统计模型以用于估计和预测。
该类模型最常见的是线性回归模型。
◆时间序列模型阶段时间序列分析模型遵从的原则是利用某变量的历史数据来预测它的未来可能值，可以无须其他外生解释变量，也可以考虑考虑其它外生解释变量。
该类模型最常见得是自回归条件异方差模型。
数据挖掘和智能预测阶段信息技术以及计算机的发展，使得数据收集变得更加便捷，数据量呈爆炸式增长，比如超市的交易记录、地面的遥感图像和人体的心率数据。
尽管传统的基于数学假设的参数模型某种程度任然有用，但是大量数据的获取显然可以使得我们进一步探索系统更加精细的结构，从而使得我们获得对真实世界更加合理和接近的解释，因此数据挖掘技术至此诞生。
目前主要的数据挖掘和智能预测方法主要有：决策树、神经网络、支持随机森林向量机遗传算法和随机森林等。
1.3随机森林研究现状单模型分类方法模型往往精度不高，容易出现过拟合问题，因此很多学者往往通过组合多个多个单分类模型来提高预测精度，这些方法称为分类器组合方法。
随机森林（Random Forest,RF）是决策树的组合，每棵决策树都是通过对原始数据集中随机生成新的数据集来训练生成，随机森林决策的结果是多数决策树的决策结果。
该算法由Bireman于2001提出，并被广泛应于医学、经济学、管理和遥感等领域，例如：在生态学方面，Gislason等利用RF方法对土地的覆盖面积进行了研究，发现RF与其它组合算法相比，训练更快；在医学方面，Kouzania等人利用RF技术对肺部CT图像进行肺结核的自动检测；在遥感地理学上，Gislason等利用RF分类器进行了土地覆盖研究。
◆绪论◆统计预测◆统计预测发展历程◆随机森林研究现状◆分类决策树◆决策树引导◆决策树定义◆决策树构造◆决策树构造实例◆随机森林◆随机森林引导◆随机森林原理◆随机森林特性◆随机森林优化方法◆随机森林在遥感中应用通俗来说，决策树分类的思想类似于找对象。
女儿：多大年纪了？母亲：26。
女儿：长的帅不帅？母亲：挺帅的。
女儿：收入高不？母亲：不算很高，中等情况。
女儿：是公务员不？母亲：是，在税务局上班呢。
女儿：那好，我去见见。
假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑。
决策树定义决策树（decision tree）是一个树结构（可以是二叉树或非二叉树，一般取二叉树）。
其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。
使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
决策树构造即通过对样本数据的学习和训练，生成能够有效区分样本数据的决策树的过程。
在生成过程中往往依据某种分裂属性（增益率，信息熵等），来确定决策树内部节点的判断条件，从而将样本数据集D分为D1、D2……Dn，通常使得D1、D2……Dn的区分度较高或各自的内聚性较好，并进而对D1、D2……Dn进行递归分裂，最终获得的能够区分样本的决策树。
ID3算法ID3算法的核心思想就是以信息增益作为分裂属性，选择分裂后信息增益最大的属性进行分裂。
设D为全部样本的集合，则D的熵（entropy）表示为：将训练元组D按属性A进行划分，则A对D划分的熵为：信息增益即为两者的差值：ID3算法实例首先计算按照日志密度分类获得的信息增益：好友密度的信息增益分别是0.033和0.553。
按照好友密度进行分割得到的决策树如下：◆绪论◆统计预测◆统计预测发展历程◆随机森林研究现状◆分类决策树◆决策树引导◆决策树定义◆决策树构造◆决策树构造实例◆随机森林◆随机森林引导◆随机森林原理◆随机森林特性◆随机森林优化方法◆随机森林在遥感中应用◆单模型分类方法模型往往精度不高，容易出现过拟合问题，因此很多学者往往通过组合多个多个单分类模型来提高预测精度，这些方法称为分类器组合方法。
随机森林是为了解决单个决策树模型过拟合问题而提出的算法◆过拟合模型的分类误差可以分为训练误差（样本数据集上误差）和泛化误差（未知数据上误差）。
决策树在训练过程中，其训练误差一般随着训练数据集的增大而减小；但其泛化误差在数据集规模超过一定界限后，逐渐增加。
标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h 的错误率小，那么就说假设h过度拟合训练数据。
（《Machine learing》）对过拟合的认识可以这么简单来理解这个现象，如果我们把样本数据分为有效信息和噪声信息。
在小规模数据时，随着有效信息的增加，我们对分类的标准了解也就越多，因此决策树能够正确分类的数据的比例也就上升。
但是当数据规模比较大的时候，决策树已经蕴含了大部分的有效信息，因此当新的有效信息在加入时，对决策树的改进微乎其微，然而噪声信息是一种随机的信息，噪声信息集合的测度一般来说比有效信息的测度要大，新加入的噪声信息一般不包含在已有噪声信息中，此时对决策树进行改变的信息则主要是噪声信息，因此决策树的泛化能力就逐渐下降。
◆随机森林随机森林是一种统计学习理论，它利用bootstrap重抽样方法从原始样本中抽取多个样本，然后对每个bootstrap样本进行决策树建模，然后组合成多棵决策树进行预测，并通过投票得出最终预测结果。
◆bootstrap重抽样核心思想在n个原始样本数据的范围内做有放回的抽样，样本容量仍为n，每个观测对象被抽到的概率相等，即为1/n．它是将样本看作整体，将从样本中抽样得到的子样本看作样本，把所得到的这个子样本称为Bootstrap样本。
随机森林随机森林是一种统计学习理论，它利用bootstrap重抽样方法从原始样本中抽取多个样本，然后对每个bootstrap样本进行决策树建模，然后组合成多棵决策树进行预测，并通过投票得出最终预测结果。
1.每棵决策树由样本量为K的训练样本X和随机向量θk生成2.随机向量序列{θk, k=1,2,…K}独立同分布3.随机森林即所有决策树的集合{ℎX,θk, k=1,2,…K}4.每个决策树模型ℎX,θk都有一票投票权来选择输入变量x的分类结果H x= maxY σi=1k I(ℎix=Y)其中，H x表示随机森林分类结果，ℎi x是单个决策树分类结果，Y表示分类目标，I·为示性函数，RF分类模型使用简单的投票策略来完成最终的分类随机森林随机森林优于决策树？假设1：数据样本D中元素只有两类{0,1}假设2：随机森林中每棵决策树的正确率p=0.8假设3：随机森林中每棵决策树之间相关系数0<ρ<1假设4：包含k棵决策树的随机森林的正确率，位于k棵完全相关决策树和k棵完全非相关决策树之间对于k棵完全相关决策树，由于某棵树分类正确等价于其它树分类正确，其正确率p1=p=0.8对于k棵完全非相关决策树，每棵决策树分类正确与否完全独立，服从二项分布。
k=1时: p(T)=p=0.8,p(F)=1-p=0.2k=3时：P(T)=p^3+3*p*p*(1-p)=0.896,p(F)=1-p(T)=0.104k=5时：p(T)=p^5+5*p^4*(1-p)+10*p^3*(1-p)^2=0.94208 p(F)=0.05792随机森林优于决策树？假设1：数据样本D中元素只有两类{0,1}假设2：随机森林中每棵决策树的正确率p=0.8假设3：随机森林中每棵决策树之间相关系数0<ρ<1假设4：包含k棵决策树的随机森林的正确率，位于k棵完全相关决策树和k棵完全非相关决策树之间pk收敛性定义余量函数：mr X,Y=av k IℎX,θk=Y−maxj≠Yav k IℎX,θk=jmr X,Y代表余量函数，I·为示性函数，ℎX,θk代表分类模型序列，余量函数反映了输入样本X对应的正确分类结果Y的得票数超过其他错误分类类别中得票数最多者的程度。
按照随机森林通过简单投票进行的特点定义泛化误差：PE∗=P X,Y mr X,Y<0泛化误差收敛的表示：lim k→∞PE∗=P X,Y PθℎX,θk=Y−maxj≠YPθℎX,θk=j<0意义：模型不会随着决策树数目的增加而产生过度拟合的问题泛化误差上界由契比雪夫不等式PE∗≤var X,Y mr X,Y E X,Y mr X,Y2定义单棵决策树分类强度s，决策树之间的相关性തρs=E X,Y mr X,Ysdθ=var X,Y(IℎX,θ=Y−maxj≠YIℎX,θ=j)തρ=Eθ,θ′ρθ,θ′sdθsdθ′Eθ,θ′sdθsdθ′泛化误差上界：PE∗≤ഥρ1−s 2s2意义：决策树分类强度越大，决策树间相关性越小，模型越准确◆实验性质◆优点1. 对于很多种资料，它可以产生高准确度的分类器。
2. 它可以处理大量的输入变量。
3. 它可以在决定类别时，评估变量的重要性。
4. 在建造森林时，它可以在内部对于一般化后的误差产生不偏差的估计。
5. 它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度。
6. 它提供一个实验方法，可以去侦测variable interactions 。
7. 对于不平衡的分类资料集来说，它可以平衡误差。
8. 它计算各例中的亲近度，对于数据挖掘、侦测偏离者（outlier）和将资料视觉化非常有用。
9. 使用上述。
它可被延伸应用在未标记的资料上，这类资料通常是使用非监督式聚类。
也可侦测偏离者和观看资料。
10. 学习过程是很快速的。
◆实验性质◆缺点1. 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟2. 对于有不同级别的属性的数据，级别划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的。