ｉ ｅ ｃ ｏ ｄ ｃ ｍｐ ｔｎ ｎ ｒ ｎｍｅ ｔ Ｔ ｕ ｔ ｅ ｅ ｉｙ ｔ ｅ ｅ ｅ ｔ ｅ ｅ ｓａ ｄ ｅ ｃｅ ｃ ｆｔ ｅ ｐ ａｆ ｒ ， ｔ ｓ ｓｔ ｅ ｉ ｒ ｖ ｄ ａ ｇ ｒｔ ｍ Ｏ ｍｉ ｅ ｕ ｅ ｓ ｎ ｔ ｌ ｕ ｏ ｕ ｇ ｅ ｖｉ ｈ ｉ ｏ ｎ ． ｏ ｆ ｒｈ ｒｖ ｒｆ ｆ ｃ ｉ ｎ ｓ ｎ ｆ ｉ ｎ ｙ ｏ ｌｔ ｏ ｍ ｉ ｕ ｅ ｍｐ ｏ ｅ ｌ ｏ ｉ ｈ ｖ ｉ ｈ ｈ ｈ ｔ ｎ ｓ ｒ’ ｐ ｅ ｅ ｅ ｃ ｅ ｓｐ ｔ ｅ ｌ ｇ ｏ ｅｐｌｔｏ ｍ ． ｐ ｒ ｅ ｔ ｌ ｅ ｕ ｔ ｈ ｗ ａ ， ｓｎ ｓｒｂ ｔ ｄ ａ ｇ ｒｔ ｍ ｏ ｅ ｓｌｒ ｅ ｎ ｍｂ ｒｏ ｅ ｌ ｇ ｆｌ ｓ ｒ ｆ ｒ ｄ ａ ｃ ｓ ａ ｉ Ｗ ｂ ｏ ｎ ｔ ａｆ ｒ Ｅｘ ｅ ｍ ｎａ ｓ ｌｓｓ ｏ ｔ ｔ ｕ ｉ ｇ ｄｉｔｉ ｕ ｅ ｌ ｏ ｈ ｔ ｐｒ ｃ ｓ ａ ｇ ｕ ｅ ｆＷ ｂ ｏ ｅ ｈ ｎ ｈ ｉ ｒ ｈ ｉ Ｏ ｉ ｉ ｅ ｃｕｓｅ ， ａ ｉ ｎｉ ｃ ｎ ｌ ｐ ｏｖ ｅ ｅ ｃ ｅ ｃ ｆ ｅ ａ ａ ｍｉ ｉ ｇ． ｎ ｔ ｌ ｔｒ ｃ ｎ ｓｇ ｆ ａ ｔ ｉ ｒ ｅｔ ｆ ｉ ｎ ｙ ｏ Ｗ ｂ ｄ ｔ ｎ ｎ ｈ ｉ ｙｍ ｈ ｉ
势 ，设计一种基于 云计 算的 Ｈ ｄｏ 集群框架 的 Ｗｅ ａｏｐ ｂ日志分析平 台，提 出一种能够在云计算环境 中进行分布 式处理 的混合 算法 。为进一步 验证该平 台的高效性 ， 该平台上利用改进后 的算法挖掘 Ｗｅ 在 ｂ日志 中用户 的偏爱访 问路径 。 实验结果表 明， 在集群 中运 用分布式算法处理
ｄ ｖ ｌｐ ｄ ｔ ｏｔ ｎ ｃ ｅ ｅ ｏ ｅ Ｏ ａ ｂ ｔ ｅ ｅ ｋ．Ｕｓｎ ｅ ａ ｖ ｔｇ ｆ ｃ ｏ ｄ ｃ ｍｐ ｔｎ — ｌ ｉｇ ｔ ｄ ａ ａ ｅ ｏ ｌｕ ｏ ｕ ｉｇ ｈ ｎ ｉｔｉ ｔ ｄ ｐ ｏｃ ｓ ｉ ｇ ａ ｄ ｖｉ ｕ ｌｚ ｔ ｎ ｈ ｓ ｐ ｐ ｒ ｐ ｅ ｅ ｔ ｅ ｌ ｇ ｓｒ ｂｕ ｅ ｒ ｅ ｓｎ ｎ ｒ ａｉ ａ ｉ ，ｔ ｉ ａ ｅ ｒ ｓ ｎ ｓ ａ Ｗ ｂ ｏ ｔ ｏ
ｎ ｌｓｓｐａ ｒ ｕ ｄ ｒｔ ｄ ｏ Ｓ ｌ ｓｅ ａ ｗｏ ｋｂ ｓｄｏ ｌｕ ｏ ｕ ｉｇ ｉ ｌｏｐｅ ｅ ｔ ｙ ｒ ｌ ｏｉ ａ ａｙ ｉ ｌｔｏ ｍ ｎ ｅ ｅＨａ ｏ ｐ’ ｃｕ ｔｒ ｒ ｅ ｒ ａ ｅ ｎ ｃｏ ｄｃ ｍｐ ｔｎ ，ｔａｓ ｒｓ ｎｓａｈ ｂ ｄａｇ ｒｔｍ ｉｈＣ ｉｔｉｕ ｅ ｒ ｃ ｓ ｆ ｈ ｆｍ ｉ ｈ ｗｈｃ ａ ｄｓｒｂ ｔｄｐ ｏ ｅｓ ｎ
第 ３ 卷 第 １ 期 ７ １
Ｖ＿ －７ ｏ ３ ｌ
Ｎｏ． １ １
计
算
机
工
程
２ １ 年 ６月 ０１
Ｊ ｎ ０１ ｕｅ２ ｌ
Ｃｏ ｍｐｕ ｅ ｔ ｒＥｎｇ ｎ ｅ ｉ ｇ ｉ ｅ ｒｎ
・云计 算专 题 ・
文章编号： Ｉｏ ４８ ｏ１１ ｏ７ ３ 文献标识码： １Ｊ ２（ １ｌ ３—ｏ Ｍ—３ ２ ）—ｏ Ａ
ＣＨＥＮＧ ｉ ｏ ． Ｍ ａ ＣＨＥＮ ａ ｐ ｎ Ｈｕ － ｉ ｇ （． ｌ ｇ ｆ ｎ ｇ ｍｅ ｔｂ Ｃｏｌｇ ｆ ｏ ｕｅ ｃ ｎ ｅ ｎ ｅ ｈ ｏ ｏ ｙ Ｕｎｖ ｒｉ ｆ ｃｅ ｃ ｄＴ ｃ ｎ ｌｇ ｆ ｈｎ ， ｅ ｅ ２ ０ ２ ， ｉａ ａ Ｃｏｌ ｅ ｅ ｏ Ｍａ ａ ｅ ｎ； ． ｌ ｅ ｍｐ ｔｒ ｉ ｃ ｄＴ ｃ ｎ ｌｇ ， ｉｅ ｓ ｙｏ ｉｎ ｅａ ｅ ｈ ｏｏ ｙｏ ｉａ Ｈ ｆｉ ３ ０ ６ Ｃｈｎ ） ｅ ｏＣ Ｓ ｅ ａ ｔ Ｓ ｎ Ｃ
中圈分类号：Ｔ３１ Ｐ１
基 于 Ｈａ ｏ ｐ的 Ｗｅ 日志挖 掘 ｄｏ ｂ
程 苗ａ ｐ陈华平
（ 国科学技术大学 ａ 管理学院 ；ｂ 计算机科学与技术 学院，合 肥 ２ ０ ２ ） 中 ． ． ３０ ６
摘
要： 基于 单一节 点的数据挖掘系统在挖掘 Ｗｅ ｂ海量数据源时存在计算瓶颈 ， 针对该问题 ， 利用云计算 的分布式处理和虚拟化技术 的优
大量 的 Ｗｅ ｂ日志文件 ，可 以明显提 高 Ｗｅ 数据挖掘 的效率 。 ｂ
关健词 ：云计算 ；Ｈ ｄｏ 架构 ；Ｍａ／ｅｕｅ ａｏｐ ｐ ｄｃ 编程模 式 ； ｂ日 Ｒ Ｗｅ 志挖掘 ； 遗传 算法 ；偏爱访问路径
Ｗ ｅ ｌ ｇ Ｍ ｉ ｉ ｇ Ｂａ ｅ ｎ Ｈ ａ ｏ ｐ ｂｏ ｎｎ ｓ ｄｏ ｄ ｏ
［ ｂ ｔａ ｔ ｈ ｓ ａａｆ ｍ ｂａｅｄｓ ｂ ｔｄ ｈｔｒｇ ｎｏ ｓａ ｄｄ ｎｍｉ， Ｏｔｅｃ ｒ ｎ ａａｍｉｉｇｓｓ ｍ ａｅ ｎ ｓ ｇｅｎ ｄ ａ Ａ ｓｒｃ ＩＴ ｅｍａｓｄ ｔ ｏ Ｗｅ ｒ ｉｒ ｕｅ ， ｅｅｏ ｅ ｅｕ ｎ ｙ ａ ｃ Ｓ ｈ ｕｒ ｔ ｔ ｎｎ ｙｔ ｂ ｓｄｏ ｉ ｌ ｏ ｅｈ ｓ ｒ ｔ ｉ ｅ ｄ点 的计算能力 已经遇 到了瓶颈 ，因此 ，利
［ ｙｗ ｒ ｓ ｌｕ ｏ ｕ ｎ ； ｄ ｏ ａ ｅ Ｍａ／ ｅ ｕｅ Ｗｅ ｌｇｍｉｉｇ ｇｎ ｔ ｇ ｒ ｍ；ｒｆｒ ｄｂｏ ｉｇｐｔ Ｋｅ ｏ ｄ ］ｃｏｄｃ ｍｐ ｔ ｇ Ｈａ ｏ ｐｆ ｉ ｒ ； ｐ ｄ ｃ； ｂｏ ｎｎ ； ｅｅｉ ａ ｏ ｔ ｐｅｅｒ ｒｗｓ ａ ｍ Ｒ ｃｌ ｉ ｈ ｅ ｎ ｈ Ｄ０Ｉ １ ．９ ９ ．ｓ．０ ０３ ２ ．０ １１ ．１ ： ０３ ６ ０ｉ ｎ１０ —４ ８２ １．１ ３ ｓ ０