在对海量数据进行分类时,选择最合适的分类算法是非常重 要的。但是分类的效果一般和数据的特点有关,有的数据噪 声大,有的有缺值,有的分布稀疏,有的字段或属性间相关性 强,有的属性是离散的而有的是连续值或混合式的,没有一种 方法能适合所有不同特点的数据。此次主要针对分类算法 中的经典的工D3算法、朴素贝叶斯算法、BP神经网络算法 进行简单介绍。
3 机器学习经典算法
朴素贝叶 斯分类算
法
研究观点1
研究观点1
BP神经网 络算法
深度学 习算法
01 朴素贝叶斯分类算法
朴素贝叶斯算法是以贝叶斯定理为基础的一种分类算法，该算法主要执行分类操 作，常常采用经验性的方法构造其映射的规则，而这个最后要得到的映射规则也叫做
01 分类器。贝叶斯定理公式如下： P(A|B)=P(A,B)/P(B)
3
机器学习经典算法
3 机器学习经典算法
分类是机器学习中一项非常重要的研究课题,我们可以 利用分类从大量数据中提取具有相同数据类的一个模型 或者函数,并把提取数据中的每个未知对象归结到某个 已知的对象类中,目前分类算法主要是统计分类法、神 经网络、决策树等。不同的分类算法会产生不同的分类 器,分类器的好坏直接影响到机器学习的效率和准确性。
ቤተ መጻሕፍቲ ባይዱ
2
机器学习
2 机器学习
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸 分析、算法复杂度理论等多门学科。
主要研究的是计算机怎样模拟或实现人类的学习行为，以获取更新的知识或技能， 并且可以通过重新组织现有的知识结构来改善自身的性能以及不足之处。
机器学习是人工智能的核心，其发展历程大体可分为4个时期。 第一阶段是在20世纪50年代中期到60年代中期，此阶段研宄课题刚被提出，处于 “推理期”，大量的相关理论被提出并验证。 第二阶段是在20世纪60年代中期到 70年代中期，机器学习进入冷静阶段，科学家们 开始反思仅仅有逻辑推理能力是无法实现人工智能的。 第三阶段是从20 世纪70年代中期到80年代中期，机器学习成果处于井喷时期， 大量 的专家系统问世。 目前机器学习研宄状态处于第四阶段始于80年代中期，此时机器学习成为了一个独 立的学科领域 并开始快速发展。
BP神经网络算法是在BP神经网络现有算法的基础上提出的，是一种按误 差逆传播算法训练的多层前馈网络，是通过任意选定一组权值，将给定的目 标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在 传统方法的局部极小及收敛速度慢的问题，且更易理解。
BP算法学习过程分为两个阶段，第一个阶段是信号的前向传播，通 过网络学习，输入训练样本输出样本特征；第二阶段是误差的后向 传播，基于最优化理论计算梯度，求出该网络输出与先期望的偏差， 根据偏差从后向前调整网络连接强度。之后重复交替进行前向传播 和后向传播，使网络偏差逐渐减少，最终使网络输出值慢慢趋近期 望输出值，直到满足误差精度为止，此时网络的权值和偏置即为学 习到的最终特征。
人工智能之机器学习算法研究
学 生 :胡 可 欣
目录
CONTENTS
1 人工智能 2 机器学习 3 机器学习经典算法 4 总结
1
人工智能
1 人工智能
人工智能简称AI。它是研究、开发用于模拟、延伸和扩展人 的智能的理论、方法、技术及应用系统的一门新的技术科学。它 属于计算机科学的一个分支，是为了了解智能的实质，并生产出 一种新的可以以与人类智能相似的方式做出相应反应的智能机器。 其发展经历了三个阶段。
02 BP神经网络算法
01 BP 神经网络是由 Rumelhart 和 MeCelland 提出的一种按误差逆传播算法训
练的多层前馈网络，也是目前应用最广泛的神经网络模型之一。 人工神经网络创始人明斯基和佩珀特在《感知器》一书,论证了简单的线
性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网 络也持悲观态度。随后David Rumelhart等学者出版的《平行分布处理:认知的 微观结构探索》一书。书中完整地提出了BP算法,并且系统地解决了多层网络 中隐单元连接权的学习问题,并在数学上给出了完整的推导。
第一阶段为20世纪50-60年代，人工智能的概念被提出，主要 注重逻辑推理的机器翻译；
第二阶段为20世纪70-80年代，提出了专家系统的概念，在人 工神经网络算法的基础上人工只能发展迅速，同时随着半导体技 术和计算硬件能力的逐步提高，人工智能逐渐开始突破，分布式 网络使得人工智能的计算成本降低;
第三阶段自20世纪末以来，开始进入了重视数据、自主学习 的认知智能时代。
其中 P(A|B)表示在 B 发生的前提下，A 发生的概率，也叫做 B 发生条件下发生 事件 A 的条件概率 P (B|A)表示在 A 发生的前提下 B 发生的概率。
朴素贝叶斯算法的主要思想：对于待分类项，求解出在该项出现的条件下各 类出现的概率，将待分类项归于概率最大的一类。朴素贝叶斯分类的具体过程如 下：首先确定特征属性，同时对部分待分类项进行分类以此得到初步的训练样本， 该阶段输入待分类项的数据样本，而输出的则是样本特征和训练样本。之后是分 类器的生成训练，要计算每个类别在样本中的出现频率和在每个特征前提下每个 类别出现的条件概率，这里输入训练样本，输出了分类器。最后是使用分类器对 待分类项进行分类，最后输出了待分类项和类别的映射关系。
优点
1）朴素贝叶斯模型发源于古典数学理论，有稳定的分 类效率。
2）对小规模的数据表现很好，能个处理多分类任务， 适合增量式训练，尤其是数据量超出内存时，我们可以一 批批的去增量训练。
3）对缺失数据不太敏感，算法也比较简单，常用于文 本分类。
缺点
1） 理论上与其他分类方法相比有最小误差率，但实际中 受给定输出类别的限定,假设属性之间相互独立在属性个数 比较多或者属性之间相关性较大时，分类效果不好 ； 而在 属性相关性较小时，朴素贝叶斯性能最为良好。 2）需要知道先验概率，且先验概率很多时候取决于假设 ，假设的模型可以有很多种，因此在某些时候会由于假设 的先验模型的原因导致预测效果不佳。 3）对输入数据的表达形式很敏感。