Ａｂｔ ｃ ｓｒ ｔ ａ
Ｔ ｅｔ ｓ ｕ ｉ ｎ ａ ｓｓ ｉｒ ｕｅ ｅ ｏｋｃ ｗｅ ｓ ｍ．Ｉ ｙｔ ｒｈｔ ｔｒ ｃｎｉｓ ｆｗ ｊｒ ａｔ：ｈ ｎ ｈ ｅｉｓ ｄｅ ａｄｒ ｌｅ ｄｓｉ ｔｄｎｔ ｒ ｒ ｌ ｓ ｔ ｈ ｓｔ ｓ ｅ ｉ ａ ｔｂ ｗ ａ ｒ ｙ ｅ ｔｓｓ ｍ ａｃｉ ｃ ｅ ｏｓ ｔｏ ｏ ｏ ｒ ｔｅｃ — ｓ ｅ ｅｕ ｓ ｔ ｍａ ｐ ｓ ｏ
０ 引 言
随着互联 网的爆炸式增长 ， 网络 资源呈指数级增 长 ， 这种信 息量 的飞速增长促使通用 搜索引擎 面临着 索引规模 、 更新 速度 和个性化需求等多方面的挑战 。为了克服通用搜索引擎的 以上
不足 ， 主题搜索 引擎应 运而生 。主题 爬虫 是主题搜 索引擎 的基 础， 其抓取 网页 的速度和质量是决定搜索 引擎好坏 的重要指标 。 它是一个在限定 领域内 自动下 载 网页 的系统 ， 按照 一定优先 级
池勇敏 郝泳涛
（ 同济大学 Ｃ Ｄ研究 中心 Ａ 上海 ２０ ９ ） ００ ２
摘
ቤተ መጻሕፍቲ ባይዱ
要
研究实现 了一个 分布 式 网络爬 虫系统。系统架构 主要分为控制节 点和爬行节 点两部 分 ， 并描述 了分布 式系统关键技 术
的解决方案。系统采用二级哈希映射算法进 行任务分配 以解决基于 目标 导 向、 负载均衡 的 Ｕ Ｌ分配 问题 ， 用消息通信 使节 点相 Ｒ 使 互协作， 出利用遗传算法作为该主题爬虫 系统 的搜 索策略 ， 提 并给 出 了网页更新策略的改进 方法。
ｔｏ ｏ ｅ ａ ｄ ｔ ｅ ｃ ａ ｌｎ ｄ ．Ｔ ｅ ｋ ｙ ｔｃ ｎ ｌｇ ｏｕ ｉｎ ｔ ｉｔ ｂ ｔｄ ｓ ｓｅ ｉ ｄ ｓ ｒ ｅ ｒｌｎ ｄ ｎ ｈ ｒ ｗ ｏ ｅ ｈ ｅ ｅ ｈ ｏｏ ｙ ｓ ｌｔ ｏ ｄ ｓｒ ｕ ｅ ｙ ｔ ｍ ｓ ｅ ｃ ｂ ｄ，ｔ ｏ ｈ ｙ ｔ ｍ ｐ ｌ ｓｔ ｅ ｓ ｃ ｎ ｅ ｅ ｓ ｏ ｉ ｉ ｏ ．Ｔ ｅ ｓ ｓｅ ａ ｐ ｉ ｈ ｅ ｏ ｄ ｌ ｖ ｌＨａ ｈ ｅ ａｇ ｒ ｈ ｔ ｓ ｓ ｉｎ ｎ ｏ ｓ ｌｅ ｔ ｅＵＲＬ ａｌ ｃ ｔ ｎ ｉｓ ｅ ｂ ｓ ｄ ｏ ａｇ ｔ ｒ ｎ ａｉ ｎ ａ ｄ ｌａ ａａ ｃ ．Ｎｏ ｅ ｒ ｏ ｐ ｒ ｔ ｅｔ ａ ｈ ｏｈ ｌｏ ｔ ｍ ｏ ｔ ｋ ａ ｓｇ ｍｅ ｔｔ ｏｖ ｉ ａ ｈ ｌ ａｉ ｓ ｕ ａ ｅ ｎ ｔｒ ｅ ｉ ｔｔ ｎ ｄ ｂ ｌｎ ｅ ｏ ｏ ｏｅ ｏ ｏ ｄ ｓａ ｅｃ ｏ ｅ ａｉ ｏｅ ｃ ｔ — ｖ
第２ ７卷 第 １ ２期
２１ ０ ０年 １ ２月
计算机 应 用与软 件
Ｃｏ ｕ ｅ ｐ ｉａｉ ｎ ｎ ｏ ｔ ｒ ｍｐ ｔ ｒＡｐ ｌ ｔ ｓ ａ ｄ Ｓ ｆ ｃ ｏ ｗａ ｅ
Ｖｏ ． ７ Ｎｏ ２ １２ ．１ Ｄｅ ． ０１ ｃ２ ０
分 布 式 主题 爬 虫 的 设 计 与 实 现
ｅ ｙ ｍｅ ｎ ｆｍｅ ｓ ｇｎ ．Ｔ ｅ ｔｅ ｉ ｓ ｇ ｅ ｔ ｈ ｅ ｅ ｉ ａ ｇ ｒｔｍ ｏ ｂ ｈ ｅ ｃ ｔａｅ ｏ ｈ ｏ ｉ ｒ ｗ ｅ ，ａ ｄ ａ ｍｐ ｏ ｅ ｔｏ ｒｂ ａ ｓ ｏ ｓａ ｉ ｇ ｈ ｈ ｓｓ ｕ ｇ ｓｓｔ ｅ ｇ ｎ ｔ ｌｏ ｈ ｔ ｅ ｔ ｅ ｓ ａ ｈ ｓｒ ｔｇ ｆｒｔ ｅ ｔｐ ｃ ｃ ａ ｌｒ ｎ ｎ ｉ ｒ ｖ ｄ ｍｅｈ ｄ ｃ ｉ ｒ ｙ ｏ ｂ ａ ｅ ｕ ｄ ｔ ｔ ｅ ｆｒｗｅ ｐ ｇ ｐ ａｅ ｓｒ ｔｇ ． ａ ｙ Ｋｅ ｗｏ ｄ ｙ ｒｓ Ｗｅ ｒｗｌｒ Ｄｉｔ ｂ ｔｄ Ｇｅ ｅｉ ｌｏ ｔ ｍ Ｓ ａｃ ｎ ｉ ｅ ｂ ｃａ ￣ ｓｒ ｕ ｅ ｉ ｎ ｔ ａｇ ｒ ｈ ｃ ｉ ｅ ｒｈ ｅ ｇｎ
图 １ 系 统 结 构 图
该 主题爬虫 系统 中的各个模块 的实现 以及信息搜集过程 中涉及
的关 键 技 术 。
１ １ 爬 行 节点 的结构 设计 ．
爬行 节点主要 是负责爬虫 功能 的完 成 ， 以及与其他 爬行 节
点进 行通 信 。爬 行 节 点 主要 有 ： ｎ ｇｒ模 块 、 ｏ ｎ ｏｄｒ Ｍａａｅ Ｄ ｗ Ｌ ａｅ 模
关键词
主题爬 虫 分布 式 遗传算法
搜 索引擎
ＲＥＳ ＥＡＲＣＨ ＡＮＤ Ｍ ＰＬＥＭ ＥＮＴＡＴＩ Ｉ ｏＮ ｏＦ ＤＩ Ａ ＳＴＲＩ ＢＵＴＥＤ ＴｏＰＩ ＣＲＡＷ ＬＥＲ Ｃ
ＣｈｉＹｏ ｇ ｎ Ｈａ ｎ ｔ ｏ ｎ ｍｉ ｏ Ｙｏ ｇ ａ
（ ｅｔ Ａ ｅ ａｃ Ｃ ｎ ｒｏ Ｄ Ｒｓ ｒ ｅ ｆＣ ｅ ｈ，Ｔｎ］ Ｕ ｉ ｒｔ， ｈ ｎ ｈ ｉ ０ ０２，ｈｎ ） ｏｇｉ ｎｖ ｓｙ Ｓ ａ ｇ ａ ２ ０ ９ Ｃ ｉ ｅｉ ａ
次 序 和 主题 相关 度甄 别 获 取 页 面 。
本文的研究 对象 是主题搜 索引擎 中的分布 式主题爬 虫 ， 并
开发了相应 的 分 布 式爬 虫 系 统 ， 架 构 参 考 了 ＷＩ Ｅ Ｇ ｏｌ 其 Ｒ 、 ｏｇｅ
Ｃａ ｌ 和 Ｓ Ｈ Ｎ 架构 的划分利用并发执行 ， ｒ ｅ ｗ ｒ Ｐ Ｉ Ｘ， 本文 主要介绍 了
１ 系统 架 构
该分布式爬 虫系统基 于分 布式 系统结构 ， 由一个 中心主 是
控节点和分布式 的爬 虫节点组 成 ， 制节点 负责维 护所有结 点 控 的信息 ， 整个系统相互配合协 同工作 。在整个分布式 系统 中， 所
块、 分析模块 、 ｏ ｒ Ｓ ｒ 模块 、 ｔｅ 任务分 配模 块和节点通信 模块 。前 四 个模块 主要负责按 搜索策 略爬 取 、 下载 、 存储 页面 ， 其直接决定