East China Normal University
网络爬虫入门|以华师图书馆/豆瓣为例 (Python实现)
Presentation
@汪政
2015年6月11日
East China Normal University
CONTENTS
目录
1 3 5
什么是爬虫 三步走 豆瓣抓取
2 4 6
背景意义 模拟登陆 小结
2015年6月11日
East China Normal University
选题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
1
可以干哪些有趣的事情？
图片
文本
视频
在我们日常上网浏览网页的时候，经 常会看到一些好看的图片，我们就希望把 这些图片保存下载，或者用户用来做桌面 壁纸，或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键， 选择另存为。但有些图片鼠标右键的时候 并没有另存为选项，还有办法就通过就是 通过截图工具截取下来，但这样就降低图 片的清晰度。好吧～！其实你很厉害的， 右键查看页面源代码。 我们再来看下知乎神贴~
面数据
[第二步 ] • 爬什么（interesting）：你对什
么感兴趣
[第三步 ]
• 怎么爬（Method）:非常强大 的正则表达式，以及许多开源库 （urllib,BeautifulSoup）
2015年6月11日
East China Normal University
选题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
Review
浏览器访问 服务器的过程
在用户访问网页时，不论是通过、IP，还是点击链接，浏览器向WEB 服务器发出了一个Http Request），WEB服务器接收到浏览器的请求 之后，响应客户端的请求，发回相应的响应信息（Http Response）， 浏览器解析引擎，排版引擎分析返回的内容，呈现给用户。交互的过 程中，HTTP请求和响应时发送的都是一个消息结构。 实例：（华东师范大学图书馆）
2015年6月11日
East China Normal University
选题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
2
三步走
[ 第一步 ] • 爬哪里（URL）：获取整个页
我们可以通过python 来实现这 样一个简单的爬虫功能，把我们 想要的代码爬取到本地。下面就 看看如何使用python来实现这样一 个功能。 一般我们三步走！
2015年6月11日
East China Normal University
选题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
4
模拟登陆华东师范大学图书馆\并爬取借阅历史
当你要模拟登录一个网站时，首先要搞清楚网站的登录处理细节（发了 什么样的数据，给谁发等...）。通过抓取http数据包来分析该网站的登录流 程。同时，我们还要分析抓到的post包的数据结构和header，要根据提交的 数据结构和heander来构造自己的post数据和header。并发送给指定url。我 们通过urllib2等几个模块提供的API来实现request请求的发送和相应的接收。 大部分网站登录时需要携带cookie，所以我们还必须设置cookie处理器 来保证cookie
代码分析：模拟登陆华东师范大学图书馆 爬虫结果：借阅历史.txt
2015年6月11日
East China Normal University
选题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
抓取豆瓣上计算机类图书 评分最高的top150本书籍， 并保存在本地Excel中。
step1 step2 step2
• 分析网页源代码结构
• 确定爬虫方法 • 本地保存
2015年6月11日
East China Normal University
课题背景
三步走
Review
模拟登陆
豆瓣抓取
小结
7
小结
伪装成浏览器访问 验 证 码
多代理自动选择 验证码的处理
……
代 理
多线程并发抓取
反”反盗链”
……
2015年6月11日
伪 装
代码简单，使用方便，性能也不俗，可谓居家旅 行，杀人放火（黑网站），咳咳，之必备神器。
East China Normal University
谢谢聆听
2015年6月11日
@汪政 中国〃上海
2015年6月11日
East China Normal University
网络爬虫
网络爬虫：是一个功能很强
的自动提取网页的程序/脚本，它为 搜索引擎从万维网上下载网页，是 搜索引擎的重要组成部分。
防爬虫：爬虫行为分为搜索
引擎爬虫及扫描程序爬虫，可屏蔽 特定的搜索引擎爬虫节省带宽和性 能，也可屏蔽扫描程序爬虫，避免 网站被恶意抓取页面。（网站洁癖）