基于Python的网络爬虫的设计与实现
1．本课题所涉及的问题在国内（外）的研究现状综述
无论国内国外，随着动态网页技术的发展，网络爬虫的难度也越来越高。

很大一部分的动态网页是搜索不到的，例如聊天室系统，另外还有很多页面是需要注册为用户并登录才可以看到，并且在登录过程中有输入验证码这一操作，验证码现在对于网络爬虫是一大难题。

目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且页诞生了很多优秀的库和框架。

但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，对于大多用户提出的与主题或者领域相关的查询需求，传统的通用搜索引擎往往不能提供令人满意的结果为了克服通用搜索引擎的不足，提出了面向主题的聚焦爬虫的研究。

现在，聚焦爬虫已经成为爬虫的研究热点之一。

2．本人对课题任务书提出的任务要求及实现预期目标的可行性分析过去，不管是翻阅书籍，还是通过手机，电脑等从互联网上手动点击搜索信息，视野受限，信息面太过于狭窄，且数据量大而杂乱，爆炸式信息的更新速度是快速且不定时的。

要想手动获取到海量的信息，并进行分析整理，都要耗费巨多的时间，精力，效率低下，但是通过网络爬虫，根据需求获取海量网络数据，进行数据清洗，去重，入库，存表，数据可视化，把分析结果反馈给用户，并把数据结合搜索引擎存储，用户在查询数据的时候实现搜索建议，搜索结果关键字高亮化，展示热门搜索等功能，精简搜索范围，提高搜索效率，提供令人满意的结果，克服了通用搜索引擎的不足。

3．本课题需要重点研究的、关键的问题及解决的思路
绝大部分网站都有反爬虫机制,数据不能获取到,这时需要采取设置请求头,设置请求的时间间隔,伪造代理信息或者采取其他的措施来解决。

部分网站需要登录之后才能找到需要的数据,在登录的过程中会遇到输入验证码的问题,可以选择模拟登陆,第一次登录之后,鼠标右键,查看网络,查找登录时的参数字段信息,利用这些字段名,通过模拟浏览器操作实现自动登录,验证码可以选择手动输入也可以选择人工打码。

数据库性能会因为表结构的设计受到很大的影响,每张表的字段值或多或少,需要合理的设计数据库,这个可以通过垂直分表，水平分表,选择合适的存储引擎等来实现,在存储的过程中,选择异步存储,依靠连接池来实现数据量过大导致的时间,性能,效率上的问题。

4．完成本课题所必须的工作条件（如工具书、实验设备或实验环境条件、某类市场调研、计算机辅助设计条件等等）及解决的办法
1.Windows系统
2.Firefox和Firebug、FirePath组件
3.Elasticsearch环境
4.安装MySQL
5.Python语言环境。