浅谈机器学习中的贝叶斯分类器王贤举摘 要：学习是人工智能研究中非常活跃且范围甚广的一个领域。
而机器学习所关注的是：计算机程序如何随着经验积累自动提高性能，让机器完成某些任务，从而使其在某些方面为人类服务。
贝叶斯分类器作为机器学习中的一种，在有些方面有着其优越的一面，本文通过对机器学习中贝叶斯分类器的解析，指出了贝叶斯分类器在机器学习中的适用方面和不足之处。
关键词：机器学习 贝叶斯算法 适用1. 引言机器学习是计算机问世以来，兴起的一门新兴学科。
所谓机器学习是指研究如何使用计算机来模拟人类学习活动的一门学科，研究计算机获得新知识和新技能，识别现有知识，不断改善性能，实现自我完善的方法，从而使计算机能更大性能的为人类服务。
机器学习所适用的范围广阔，在医疗、军事、教育等各个领域都有着广泛的应用，并发挥了积极的作用。
而分类是机器学习中的基本问题之一，目前针对不同的分类技术，分类方法有很多，如决策树分类、支持向量机分类、神经网络分类等。
贝叶斯分类器作为机器学习分类中的一种，近年来在许多领域也受到了很大的关注，本文对贝叶斯分类器进行总结分析和比较，提出一些针对不同应用对象挑选贝叶斯分类器的方法。
2. 贝叶斯公式与贝叶斯分类器：2.1 贝叶斯公式：在概率论方面的贝叶斯公式是在乘法公式和全概率公式的基础上推导出来的，它是指设n B B B ,...,,21是样本空间Ω的一个分割，即n B B B ,...,,21互不相容，且 n i i B1=Ω=，如果0)(>A P ，0)(>i B P ，n i ,...,2,1=，则∑==n j jj i i i B A P B P B A P B P A B p 1)|()()|()()|( ，n i ,...,2,1=这就是贝叶斯公式，)|(A B p i 称为后验概率，)|(i B A P 为先验概率，一般是已知先验概率来求后验概率，贝叶斯定理提供了“预测”的实用模型，即已知某事实，预测另一个事实发生的可能性大小。
2.2 机器学习中的贝叶斯法则：在机器学习中，在给定训练数据D 时，确定假设空间H 中的最佳假设，我们用)(h P 来代表在没训练数据前假设h 拥有的初始概率。
)(h P 为h 的先验概率，用)(D P 代表将要观察训练数据D 的先验概率，以)|(h D P 代表假设h 成立的情况下观察到数据D 的概率，以)|(D h P 为给定训练数据D 时h 成立的概率，)|(h D P 称为h 的后验概率，机器学习中的贝叶斯公式为：)()()|()|(D P h P h D P D h P =学习器考虑候选假设集合H 并在其中寻找给定数据D 时可能性最大的假设，称为MAP 假设，记为MAP h ，则)|(max arg D h P h H h MAP ∈= )()()|(maxarg D P h P h D P H h ∈=)()|(max arg h P h D P H h ∈=2.3 贝叶斯分类器贝叶斯分类器是用于分类的贝叶斯网络。
该网络中应包含类结点C ,其中C 的取值来自于类集合( c1, c2,…, cm) ,还包含一组结点X = ( X1, X2,…, Xn) ,表示用于分类的特征。
对于贝叶斯网络分类器,若某一待分类的样本 D ,其分类特征值为x = ( x1, x2,…, xn) ,则样本D 属于类别ci 的概率P ( C = ci|X1= x1, X2= x2,…, Xn= xn) , ( i = 1 , 2 ,…, m ) 应满足下式:P ( C = ci|X = x ) = Max{ P ( C = c1|X = x ) , P ( C = c2|X = x ) ,…, P ( C = cm|X = x ) }而由贝叶斯公式)()()|()|(x X P c C P c C x X P x X c C P i i i ==⨯=====其中, P ( C = ci) 可由经验得到,而P ( X = x |C = ci) 和P ( X = x )的计算则较困难。
应用贝叶斯网络分类器进行分类主要分成两阶段：第一阶段是贝叶斯网络分类器的学习,即从样本数据中构造分类器,包括结构学习和CPT 学习;第二阶段是贝叶斯网络分类器的推理,即计算类结点的条件概率,对分类数据进行分类。
这两个阶段的时间复杂性均取决于特征值间的依赖程度,甚至可以是NP 完全问题,因而在实际应用中,往往需要对贝叶斯网络分类器进行简化。
3. 贝叶斯最优分类器与朴素贝叶斯分类器3.1 贝叶斯最优分类器“给定训练数据，对新实例的最可能分类是什么？”新实例的最可能分类可通过合并所有假设的预测得到，用后验概率来加权。
如果新样例的可能分类可取某集合V 中的任一值j υ，那么概率)|(D P j υ表示新实例的正确分类为j υ的概率，其值为：∑∈=H h i i j j i D h P h P D P )|()|()|(υυ 新实例的最优分类为使)|(D P j υ最大的j υ值，则 ∑∈∈=H h i i j v j i j D h P h P D P )|()|(max arg )|(υυυ按上式分类新实例的系统被称为贝叶斯最优分类器。
使用相同的假设空间和相同的先验概率，使用贝叶斯最优分类器是最好的，它能使新实例被正确分类的可能性达到最大。
3.2 朴素贝叶斯分类器朴素贝叶斯分类器是贝叶斯学习方法中实用性很高的一种，朴素贝叶斯对于数据的分类过程如下：对每个实例x 可由属性值的合取描述，而目标函数)(x f 从某有限集合V中取值。
学习器被提供一系列关于目标函数的训练样例以及新实例><n a a a ,...,21，然后要求预测新实例的目标值，得到最可能的目标值MAP υ),...,|(max arg 21n j V MAP a a a P j υυυ∈=使用贝叶斯公式，可将此表达式重写为),...,()()|,...,(maxarg 2121n j j n V MAP a a a P P a a a P j υυυυ∈=)()|,...,(max arg 21j j n V P a a a P j υυυ∈=朴素贝叶斯分类器基于一个简单的假定：在给定目标值时属性值之间相互条件独立。
因此联合的n a a a ,...,21的概率等于每个单独属性的概率的乘积∏=i j i j n a P a a a P )|()|,...,(21υυ 将其带人上式得∏∈=i j i j V NB a P P j )|()(max arg υυυυ 其中NB υ表示朴素贝叶斯分类器输出的目标值。
朴素贝叶斯分类器模型中：MAP υ为给定一个实例，得到的最可能的目标值。
j υ属于集合V 。
a1...an 是这个实例里面的属性.MAP υ是后面计算得出的概率最大的一个，所以用max 来表示。
4. 贝叶斯分类器的优缺点分析与决策树分类的比较在机器学习的分类模型中，应用较为广泛的为决策树模型和贝叶斯模型，决策树模型利用构造树来解决分类问题。
决策树模型利用训练数据来构造一棵决策树，将树建立起来，就可以为未知样本进行一个分类，决策树模型便于使用，且能高效解决问题。
决策树的另一优点为可以对有许多属性的数据集构造决策树，但决策树也有其不完美的一面，对处理缺失数据时较困难，对拟合问题中往往会忽略数据集中属性之间的相关性。
与决策树相比，贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及较为稳定的分类概率，同时，朴素贝叶斯模型所需估计的参数不多，对缺失数据不太敏感，算法也较为简单，朴素贝叶斯模型与其他的分类方法相比具有最小的误差率。
但贝叶斯模型也有其缺失的一面，在应用朴素贝叶斯分类器时，其主要设计的两个问题是，首先要决定怎样讲任意文档表示为属性值的形式，其次是要决定如何估计朴素贝叶斯分类器所需的概率。
对于朴素贝叶斯模型，由于假设属性之间相互独立，但这个假设在实际应用中往往是不成立的，这会给朴素贝叶斯模型的正确分类带来一定的影响，在属性个数比较多或属性之间相关性较大时，选择朴素贝叶斯模型的分类效率是很低的。
还有就是贝叶斯分类器是在假设知道先验概率的基础上，预测出事件的后验概率，但在实际的应用中，要知道事件是先验概率也是很困难的，对有许多的问题其先验概率所采取的都是近似值，这在有些方面也给贝叶斯分类器计算出的后验概率带来一定的影响。
因此贝叶斯分类器也不是万能的，必须根据实际情况，看所选择的问题是否使用于贝叶斯分类器。
对于一些规模性较小的数据集而言，采用贝叶斯分类器的分类效果较好，并且当数据集之间的属性关联性较弱时，贝叶斯分类器的分类效果优于其他的分类器，采用贝叶斯分类器是不二的选择，对于规模较大、属性间关联性较强的数据集而言,则要根据情况而定。
5.小结机器学习的分类方法很多，本文着重结束了贝叶斯分类器在机器学习中的应用。
并对贝叶斯分类器的分类效果进行了分析和比较，指出贝叶斯分类器的优点，同时也对贝叶斯分类器的不足之处进行了分析。
通过分析，指出了可以根据数据集之间的规模和属性间的关联性来选择是否适合贝叶斯分类器。
由于机器学习的领域宽广，所以对其选择的分类方法也很多，对于不同的分类方法在某些方面都有其独特的一面，贝叶斯分类器作为机器学习中的一种较为重要的分类，在许多的方面都可能应用到，因此对于机器学习而言掌握贝叶斯分类器是很有必要的，当然贝叶斯分类器不是万能的，在有些方面也不一定会适用。
但到现在为止，还没有那一种方法是万能的，一成不变的。
所以对于不同的情况，必须具体问题具体分析，根据不同的问题选择出最优的分类方法，解决问题才是最重要的。
参考文献：[1]Tom M.Mitchell.机器学习[M].机械工业出版社，2003[2]方玮玮.机器学习方法浅析[J][3]周颜军,王双成,王辉.基于贝叶斯网络的分类器研究[J ] .东北师范大学学报:自然科学版, 2003 ,35 (2) :21-27.[ 4 ]王双成,张邦佐,王辉,等.基于贝叶斯网络理论的TAN分类器无向依赖扩展[J ] .小型微型计算机系统, 2005 ,26 (1) :42-45.姓名：王贤举学号：4201110600322专业：计算数学。