分割样本集， 只能处理具有离散型属性和属性值齐全的样本， 生成形如 多叉树的决策树。后来出现的 Ｃ４．５ 算法经过改进， 能够直接处理连续型 属性， 也能够处理属性值空缺的训练样本。针对 ＩＤ３ 系列算法和 Ｃ４．５ 系 列算法生成决策树分枝较多、规模较大的问题， 又出现了根据 ＧＩＮＩ 系数 来选择测试属性的决策树算法， 使得生成的决策树可以是结构简单、易 于理解的二叉树。大多数决策树算法都采用后剪枝策略， 但它策略明显 存在将已经生成的分枝再剪去的重复劳动， 降低了决策树的生成效率， 因此出现了以 ＰＵＢＬＩＣ 算法为代表的预剪 枝 决 策 树 算 法 。 随 后 ， 为 了 增
２ 决策树分类算法比较
２．１ ＣＬＳ 学习算法 ＣＬＳ 主要思想是从一个空决策树出发， 通过添加新的判定结点来 改
善原来的决策树， 直到该决策树能够正确地将训练实例分类为止。它对 决策树的构造过程也就是假设特化的过程， 所以 ＣＬＳ 可以看作是只带一 个操作符的学习算法， 此操作符可以表示为： 通过添加一个新的判定条 件（ 新的判定结点） ， 特化当前假设。ＣＬＳ 算法递归调用这个操作符， 作用 在每个叶结点来构造决策树。 ２．２ ＩＤ３ 算法（ Ｉｔｅｒａｔｉｖｅ Ｄｉｃｈｏ ｔｏ ｍｉｚｅｒ３）
ＨＡＯ Ｙｕ－ｂｉｎ， Ｊ ＩＮ Ｐｅｎｇ－ｃｈｅｎｇ
ＡＢＳＴＲＡＣＴ： Ｔｈｉｓ ｐａｐｅｒ ｅｘｐｏｕｎｄｓ ｔｈｅ ｉｍｐｏｒｔａｎｔ ｆｕｎｃｔｉｏｎｓ ｏｆ ｔｈｅ ａｇｒｉｃｕｌｔｕｒａｌ ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ ｉｎ ｔｈｅ ｎｅｗ ｐｅｒｉｏｄ， ｐｒｏｂｅｓ ｉｎｔｏ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｈｏｗ ｔｏ ｐｒｏｍｏｔｅ ｔｈｅ ｇｒｅａｔ － ｌｅａｐ － ｆｏｒｗａｒｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ ｒｕｒａｌ ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ ｗｉｔｈ ｔｈｅ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｅｒｖｉｃｅ ｏｆ ｍｏｄｅｒｎ ａｇｒｉｃｕｌｔｕｒａｌ ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ， ａｎｄ ｐｏｉｎｔｓ ｏｕｔ ｔｈａｔ ｏｕｒ ｃｏｕｎｔｒｙ ｓｈｏｕｌｄ ｐｒｏｖｉｄｅ ｔｈｅ ｔａｌｅｎｔｓ ｓｕｐｐｏｒｔ ｆｏｒ ｔｈｅ ｍｏｄｅｒｎ ａｇｒｉｃｕｌｔｕｒｅ ｂｙ ｕｓｉｎｇ ｔｈｅ ｍｏｄｅｒｎ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ． ＫＥＹ ＷＯＲＤＳ： ａｇｒｉｃｕｌｔｕｒａｌ ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ； ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｍｏｄｅｒｎ ａｇｒｉｃｕｌｔｕｒｅ───────────── 第 一 作 者 简 介 ： 郝 玉 宾 ， 女 ， １９７５ 年 １１ 月 生 ， １９９９ 年 毕 业 于 山 西 大
学， 讲师， 山西省委党校， 山西省太原市学府街 ９６ 号， ０３０００６．
Ｓｐｅｅｄｉｎｇ ｕｐ ｔｈｅ Ｃｏｎｓｔｒ ｕｃｔｉｏｎ ｏｆ Ａｇｒ ｉｃｕｌｔｕｒ ａｌ Ｉｎｆｏｒ ｍａｔｉｚａｔｉｏｎ ｆｏｒ Ｐｒ ｏｍｏｔｉｎｇ ｔｈｅ Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ Ｃｈａｒ ａｃｔｅｒ ｉｓｔｉｃ Ｍｏｄｅｒ ｎ Ａｇｒ ｉｃｕｌｔｕｒ ｅ
参考文献 ［ １］ 樊合 文．以 多 方 合 作 和 资 源 整 合 推 进 发 展［ Ｎ］ ．经 济 日 报 ， ２００７－ ０６－ ０７（ １３） ． ［ ２］ 张 玉 番．加 快 农 业 信 息 化 建 设 ， 助 推 现 代 农 业 发 展［ Ｎ］ ．农 民 日 报 ， ２００７－ １０－ ２５（ ６） ． ［ ３］ 中国社会科学院课题组．推进国民经 济 信 息 化 的 公 共 政 策 研 究［ Ｊ］ ． 经济研究参考， ２００７（ １４） ：２． ［ ４］ 姚裕群．人力资源开发与管理［ Ｍ］ ．北京： 中国人民大学出版社， ２００７．
大力开展远程教育， 提高农民接受文化、科技、信息的能力。远程教 育和培训的优势就在于不受时空限制， 通过远程教育平台， 可推动农业 科技成果的转化吸收， 培训出有文化、懂技术、会经营的新型农民。进而 大大减轻了农民进城学习的负担， 同时又推动城市教育资源向农村流
源 、避 免 重 复 、协 调 发 展 、实 施 共 享 为 立 足 点 和 出 发 点 ， 充 分 发 挥 农 口 部 门信息资源优势， 农业部门与各级政府合作， 组织实施全省农业数字信 息资源共享工程， 建立全省新农村信息资源中心， 从而实现“数字化农业 科 技 文 献 资 源 ”“ 专 题 数 据 库 资 源 ”“ 多 媒 体 软 件 资 源 ”等 信 息 资 源 在 全 省 各乡镇、行政村和 ２ ０００ 多个新农村试点村共享。
Ｑｕｉｎｌａｎ 提出的 ＩＤ３ 算法是最早有影响的决策树算 法 ， 它 是 基 于 信 息熵的决策树算法， 它根据属性集的取值分类。 ２．２．１ ＩＤ３ 算法原理
设 Ｅ＝｛ Ｖ１， Ｖ２， …， Ｖｍ｝ 是 ｍ 维有穷向量空间， 其中 Ｖｉ 是有穷离散符号 集， Ｅ 中的元素 ｅ＝（ Ｅ１， Ｅ２， …， Ｅｎ） 称为实例。其中 Ｅｉ∈Ｆｉ， ｉ＝１， ２， …， ｎ。设 Ｐｅ 和 Ｎｅ 是 Ｅ 的 ２ 个实例集， 分别叫正例集和反例集。
信息资源是整个农村信息服务体系的基础及核心， 为了进一步提高
科 技 文 化 素 质 、思 想 心 理 素 质 、组 织 协 调 素 质 、市 场 竞 争 素 质 等 多 个 层
农村信息资源的实用性， 省农业部门应牵头各涉农单位配合以整合资
面， 因此， 现代农民的培养是现代农业发展不可或缺的人力资本支撑。潜 在人力资源向现实人力资源的转化， 一般是一定的主体对其资源性质进 行认识和作出使用的决策， 这就是人力资源的发掘过程。 ３．３ 通过教育提高人的“能力”
所谓“能力”， 是指人们顺利实现某种活动的心理条件。研究人力 资 源， 根本目的是为了运用“人”的这种能力。从现实应用的形态看， 能力要 素包括体力、智力、知识、技能 ４ 部分。体力、智力、知识、技能四者的不同 组合， 形成人力资源多样化的丰富内容。人力资源拥有的体力、智力、知 识和技能， 使其具有推动物质资源的各种具体能力。作为政府， 对农民采 取“授人以鱼， 不如授人以渔”， 教其学会 １～２ 门实用技术和技能， 不断提 高其综合素质， 提升就业技能增强其在就业能力和在市场中的竞争能 力， 唯有培养农民创造性的适应能力， 才能够在这千变万化的市场部分 中维持自己， 立于不败之地。
６５
刘莺迎 决策树分类算法的分析和比较
本刊 Ｅ－ ｍａｉｌ：ｂｊｂ＠ｍａｉｌ．ｓｘｉｎｆｏ．ｎｅｔ 信息工作探讨
加决策树算法的可扩展性和并行性， ＳＬＩＱ 和 ＳＰＲＩＮＴ 等并行决策树算法 被提出。最后， 基于人机交互的决策树算法的提出打破了由计算机完全 控制决策树生成的局面， 将人工智能和人为干预加进了决策树的生成过 程中。
摘 要： 在数据挖掘中存在多种算法， 决策树分类算法是应用比较多的一种。基于决策
树分类算法的研究现状， 对各种决策树分类算法的基本思想进行了阐述， 并对不同的
算法进行了分析和比较。
关键词： 决策树分类算法； ＩＤ３； 后剪枝； ＧＩＮＩ 系数
中图分类号： ＴＰ２７４； ＴＰ３１
文献标识码： Ａ
１ 决策树分类算法的发展
基于决策树的分类算法自提出至今， 种类不下几十种。各种算法在 执行速度、可扩展性、输出结果的可理解性， 分类预测的准确性等方面各 有千秋。
决策树分类算法的发展分如下几个阶段： 首 先 ， １９６６ 由 Ｈｕｎｔ．Ｅ．Ｂ 等 人提出了 ＣＬＳ（ Ｃｏｎｃｅｐｔ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍ） 学习算法。这是第一次提出用决 策树进行概念学习， 随后出现的 ＩＤ３ 算法采用信息熵原理选择测试属性
假 设 向 量 空 间 Ｅ 中 的 正 例 集 Ｐｅ 和 反 例 集 Ｎｅ 的 大 小 分 别 为 ｐ， ｎ， ＩＤ３ 基于如下两种假设：
在向量空间 Ｅ 上的一棵正确决策树对任意实例的分类概率同正反 实例的概率。
一棵决策树对一实例做出正确判断所需的信息量为： Ｉ（ ｐ， ｎ） ＝－［ ｐ（／ ｐ＋ｎ） ］ ｌｇ［ ｐ（／ ｐ＋ｎ） ］ ×ｌｇ［ ｐ（／ ｐ＋ｎ） ］ －［ ｎ（／ ｐ＋ｎ） ］ ×ｌｇ［ ｐ（／ ｐ＋ ｎ） ］ ×ｌｇ［ ｐ（／ ｐ＋ｎ） ］ 如果以某属性 Ａ 作为 决 策 树 的 根 ， 则 Ａ 具 有 ｍ 个 值 ｛ Ｖ１， Ｖ２， … ， Ｖｍ｝ ， 它将 Ｅ 分成 ｍ 个子集｛ Ｅ１， Ｅ２， …， Ｅｍ｝ ， 假设 Ｅｔ 中含有 Ｐｔ 个正 例 和 Ｎｔ 个反例， 那么子集 Ｅｔ 所需的期望信息是 Ｈ（ Ｐｔ， Ｎｔ） ， 以 属 性 Ａ 为 根 所 需 的 期望熵是： Ｅ（ Ａ） ＝∑［ （ Ｐｔ＋Ｎｔ） （／ Ｐ＋Ｎ） ］ Ｉ（ Ｐｔ， Ｎｔ） 以 Ａ 为根的信息熵增益是： Ｇａｉｎ（ Ａ） ＝Ｉ（ Ｐ， Ｎ） － Ｅ（ Ａ） ＩＤ３ 选择使 Ｇａｉｎ（ Ａ） 具有最大的属性 Ａ＊ 作 为 根 节 点 ， 对 Ａ＊ 的 不 同 取值对应的 Ｅ 的 Ｖ 个子集 Ｅｔ 递归调用上述生成过程生成子节点。 ２．２．２ ＩＤ３ 的优缺点 （ １） 信 息 增 益 的 计 算 依 赖 于 特 征 数 目 较 多 的 特 征 ， 而 属 性 取 值 最 多 的属性并不一定最优。 （ ２） ＩＤ３ 是非递增算法。 （ ３） ＩＤ３ 是单变量决策树（ 在分枝节点只考虑单个属性） ， 许多复杂概 念的表达困难， 属性相互关系强调不够， 容易导致决策树中子树的重复 或属性在决策树的某路径被检验多次。 （ ４） 抗噪性差， 训练例子中正例和反例的比例较难控制。 ２．３ Ｃ４．５ 算法 Ｃ４．５ 算法采用了一种归纳学习的机制， 它继承了 ＩＤ３ 算法的优点， 并在以下几方面对 ＩＤ３ 算法进行了改进： （ １） 用 信 息 增 益 率 来 选 择 属 性 ， 克 服 了 用 信 息 增 益 来 选 择 属 性 时 偏 向选择值多的属性的不足。 （ ２） 可以处理连续数值型属性。 （ ３） 为了避免树的高度无节制地增长， 避免过度拟合数据， 采用了一 种后剪枝方法， 该方法是从一种称为“规则后修剪”（ ｒｕｌｅ ｐｏｓｔ－ ｐｒｕｎｉｎｇ） 的 方法演变而来。 （ ４） 对于缺失值的处理。在某些情况下， 可供使用的数据可能缺少某 些属性的值。 然而 Ｃ４．５ 算法在处理连续型测试属性中线性搜索 阈 值 付 出 了 很 大 代价。在 ２００２ 年， Ｓａｌｖａｔｏｒｅ Ｒｕｇｇｉｅｒｉ 提出了 Ｃ４．５ 的改进算法 ＥＣ４．５ 算法， 与 Ｃ４．５ 相 比 ＥＣ４．５ 可 将 效 率 提 高 ５ 倍 ， 但 是 它 的 缺 点 是 占 用 内 存 比