一
＋占 ： ０
Ｓ Ｖ Ｍ 算 法 在 进 行 分 类 是 需 要 两 个 阶段 ： 第 一 个 阶 段 是 用标 签数 据训练 Ｓ Ｖ Ｍ分类器 ， 找到分类数 据之间的超平面 ， 学 习到权重 Ｗ和
偏置 ｂ ； 第 二个 阶段 是预测 阶段 ， 根据分 割线 函数计 算测试 数据 的 类别 。 崔建明［ ２ １ 等人将 Ｓ Ｖ Ｍ算法应用于文本分类 。 于文勇Ｄ 提 出一种 结合特征场和模糊核聚类支持 向量机的图像分类辨识方 法。 ２ ． ２ Ｋ Ｎ Ｎ算法 Ｋ最 邻近分类算法是基于类 比学 习 ， 即是如果一个数据点在特 征空 间中的 Ｋ个最 近邻或者最相 似的数据点 的大多数都属于某一 个类 比， 那 么这个数据点也应该会 属于这个类别 。Ｋ值得选择对 于 Ｋ Ｎ Ｎ分类算 法有很大的影响 ， 如果 Ｋ值选择 的过 大 ， 那么分类 的误 差就会越大 。 如果 Ｋ值选择 的过小 ， 那么就会 出现过拟合现象。 刘应 东［ ４ １ 提 出一种基于 ｋ 一最近邻图的小样 本 Ｋ Ｎ Ｎ分类算法。 ’ ３聚类算法 聚类算法是一种无监督的机器学习过程。 聚类的过程 就是讲一 个数据对象分割成子集的过程 。每个子集都是一个簇 ， 簇 内之 间的 数据点彼此相似 ， 而 与其他簇 内的数据点则不相 同。聚类方法能够 应用到不同的领域 ， 比如 图像模式识别 ， Ｗｅ ｂ搜索或者生物学中。 常 见的聚类算法有 Ｋ — ｍ ｅ ａ ｎ ｓ 算法和基于密度的 Ｄ Ｂ Ｓ Ｃ Ａ Ｎ算法 。 ３ ． １ Ｋ — ｍｅ ａ ｎ ｓ 算法 Ｋ — ｍｅ ａ ｎ 算 法是一种典型 的基 于距 离的聚类 算法。Ｋ — ｍｅ ａ ｎ ｓ 算 法采 用距 离作 为相似指标 ， 通过找 到距 离相近的对象形成一个簇进 行聚类 。Ｋ可初始的聚类 中心点的选择对于聚类 的结果又很大 的影 响。因为 ， Ｋ就是代表初始 的时候有几个簇 ， 在每次 的迭代计算 中 ， 都会根据其 和各个 簇中心点的距 离来 分配 到最近 的簇 。 Ｋ — ｍ ｅ ａ数据挖掘领域 经典算法 的研 究
程 璇 董 鲁 豫
（ 山 东科技 大学 信息科学与工程学院， 山东 青 岛 ２ ６ ６ ５ ９ ０ ）
摘 要： 大数据产业的兴起给数据挖掘 领域 带来 了新 的生机 。数据挖掘是从各行 各业产生的大量的信息 中挖掘 出对于人们有 用和有 价值 的知识 。数据挖掘是信 息时代 的产物， 数据挖掘是从很早就开始研 究 ， 但是真正的将 数据挖掘应 用到 实践 中是从 最近 几年 开始兴起 。 本 文就数据挖掘领域 中经典 的算法， 按 照分类算法和聚类算法分别给 出了介绍。 关键词 ： 数据挖掘 ； 分 类算 法； 聚类算法
１概 述 法简单 ， 当样本类别之 间区别较大 的时候 ， 分界线 比较明显 ， 所 以比 数据挖掘是计算机科学领域 的热 门的学科 。互联网时代下 ， 人 较适合处理大数据。但是 Ｋ — ｍｅ ａ ｎ ｓ 算法有尤其局 限性 ， 就是对于 Ｋ 们在 Ｅ ｔ 常活动 中每时每刻都在产生数据 ，这 些数 据看是没有联系 ， 值得选择 ， 没 有一个很好选择办法 ， 所 以需要 自己多做 实验看效果 实则是蕴含着大量的有价值 的知识 。然 而 ， 人眼肯定是无法从这些 再 调 整 。 数据 中找 出规则 ， 所 以数 据挖 掘通过科学计算就能够从 中找 出对人 ３ ． ２ Ｄ Ｂ Ｓ Ｃ Ａ Ｎ算 法 们有益 的数据 。 韩家炜［ ’ 】 表示数据挖 掘是信息技术 自然进化 的结果 。 Ｄ Ｂ Ｓ Ｃ Ａ Ｎ算 法是 一种基于密度 的聚类算 法 ， 使用 了密度相连 的 数据挖掘领域有十大经典的算法 ： Ｋ Ｎ Ｎ ， Ｋ — ｍ ｅ ａ ｌ ｌ Ｓ ，朴素贝叶斯 ， 思想 。 Ｄ Ｂ Ｓ Ｃ Ａ Ｎ就是是要用 到密度 的思想在一个连通区域 内形成一 支持 向量机 Ｓ Ｖ Ｍ， 决策树 Ｉ Ｄ ３ ， 决策 时 Ｃ ４ ． ５ ， 关联 规则 Ａ ｐ ｒ ｉ ｏ ｒ ｉ 算法， 个簇 。冯少荣科辱Ｄ Ｂ Ｓ Ｃ Ａ Ｎ算法应用 到了交通事故查询领域 。 最大期望 Ｅ Ｍ算法 ， Ａ ｄ ａ Ｂ ｏ ｏ ｓ ｔ ， 分类 与 回归 Ｃ Ａ Ｒ Ｔ 。这 些算法是数据 ４ 结论 挖掘领域的学者研究最多的算法 ， 并都 进行了改进 。我们将介绍常 本文概述 了数据挖掘领域 中常用 的分类算法 和聚类算法 ， 对其 用的分类算法和聚类算法 。 中的原理以及应用领域做 了深入迁 出的介绍 。经过今年 的发展 ， 数 ２分类算法 据挖掘 已经融 合到 了多个学科 ， 多个领域 ， 但是 数据挖掘领域 中的 分类算法 主要是解决数据 分类 问题 ，包括 二分类和 多分类 问 些经典的算法仍然是初学者应该掌握 的基本知识 ， 尤 其是 经典的 题 。分类算 法是 有监 督的机器学习算法 ， 需要用大量的带标签数据 分类算法和聚类算法 。 训 练分类模 型 ， 然后再对测试集进行预 测。分类算法需要先学习到 参考文献 先 验知识 ， 然后才能够对测试集进行分类 。常用的分类算法有 Ｓ Ｖ Ｍ ［ １ ］ Ｊ Ｉ Ａ ＷＥ Ｉ Ｈ Ａ Ｎ （ ］ ￣ ） ． 数据挖掘概念 与技 术［ Ｍ ］ ． 北京 ： 机械工业 出版社 ， 和Ｋ Ｎ Ｎ算法 。 ２ ０ ０ ６ ． ２ ． １ Ｓ Ｖ Ｍ算法 【 ２ 】 崔建明， 刘建明， 廖周 宇． 基于Ｓ Ｖ Ｍ算 法的文本 分类技术研 究［ Ｊ 】 ． 计 Ｓ Ｖ Ｍ算法也 叫支持 向量机算法 ， 在分类 问题和预测问题都有很 算机仿真， ２ ０ １ ３ ， ３ ０ （ ２ ） ： ２ ９ ９ — ３ ０ ２ ． 强 的优 势。 Ｓ Ｖ Ｍ用于分类问题就是在 可分 的数据点之 间形成最大超 ［ ３ 】 于文 勇， 康晓 东， 葛文 杰， 等． 基于模糊核聚类的 图像 Ｓ Ｖ Ｍ 分类辨 识 平 面能够最 大间隔地将不 同类别 的数据 隔离 。 Ｓ Ｖ Ｍ算法还引入了惩 ［ Ｊ ］ ． 计 算机科 学， ２ ０ １ ５ ， ４ ２ （ ３ ） ： ３ ０ ７ — ３ １ ０ ． 罚 系数 ，能够处理 噪声点 ，解 决了噪声点会引起分割线变动 问题 。 ［ ４ １ Ｙ ４ 应 东， 牛 惠民． 基于ｋ 一 最近邻 图的小样本 Ｋ Ｎ Ｎ分类算 法［ Ｊ 】 ． 计算 Ｓ Ｖ Ｍ能够处理线性可分的分类 问题 ， 同时也能够处理缵 陛不可分的 机 工 程 ， ２ ０ １ １ ， ３ ７ （ ９ ） ： １ ９ ８ — ２ ０ ０ ． 分类 问题 。当 Ｓ Ｖ Ｍ处理线性不可分 的问题时 ， 会通过选择核 函数将 【 ５ 】 冯 少荣， 肖文俊 ． 基 于密度的 Ｄ Ｂ Ｓ Ｃ Ａ Ｎ聚 类算法的研 究及 应用［ Ｊ ］ ． 低 维空间转换 到高维空 间 ， 在高维 空间 中找到超平 面 ， 从而将 数据 计算机 工程 与应 用， ２ ０ ０ ７ ， ４ ３ （ ２ ０ ） ： ２ １ ６ — ２ ２ １ ． 进行分类 。设训练数据 ， 而 ， ， … ， ∈Ｒ 分类超平面可 以表示为 ：