python抓取网页数据的常见方法很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。

下面介绍python抓取网页数据的常见方法。

一、Urllib抓取网页数据Urllib是python内置的HTTP请求库包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块urlopen关于urllib.request.urlopen参数的介绍：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)url参数的使用先写一个简单的例子：import urllib.requestresponse = urllib.request.urlopen('print(response.read().decode('utf-8'))urlopen一般常用的有三个参数，它的参数如下：urllib.requeset.urlopen(url,data,timeout)response.read()可以获取到网页的内容，如果没有read()，将返回如下内容data参数的使用上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求这里通过/post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以模拟各种请求操作）。

import urllib.parseimport urllib.requestdata = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')print(data)response = urllib.request.urlopen('/post', data=data) print(response.read())这里就用到urllib.parse，通过bytes(urllib.parse.urlencode())可以将post数据进行转换放到urllib.request.urlopen的data参数中。

这样就完成了一次post请求。

所以如果我们添加data参数的时候就是以post请求方式请求，如果没有data参数就是get请求方式timeout参数的使用在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，所以这个时候我们需要给请求设置一个超时时间，而不是让程序一直在等待结果。

例子如下：import urllib.requestresponse = urllib.request.urlopen('/get', timeout=1) print(response.read())运行之后我们看到可以正常的返回结果，接着我们将timeout时间设置为0.1 运行程序会提示如下错误所以我们需要对异常进行处理，代码更改为import socketimport urllib.requestimport urllib.errortry:response = urllib.request.urlopen('/get', timeout=0. 1)except urllib.error.URLError as e:if isinstance(e.reason, socket.timeout):print('TIME OUT')响应响应类型、状态码、响应头import urllib.requestresponse = urllib.request.urlopen('print(type(response))可以看到结果为：<class 'http.client.httpresponse'="">我们可以通过response.status、response.getheaders().response.getheader("server")，获取状态码以及头部信息response.read()获得的是响应体的内容当然上述的urlopen只能用于一些简单的请求，因为它无法添加一些header信息，如果需要添加头部信息去访问目标站的，这个时候就要用到urllib.request。

二、requests抓取网页数据Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed 开源协议的HTTP库Requests它会比urllib更加方便，可以节约我们大量的工作。

（用了requests 之后，你基本都不愿意用urllib了）一句话，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装requests功能详解总体功能的一个演示import requestsresponse = requests.get("https://")print(type(response))print(response.status_code)print(type(response.text))print(response.text)print(response.cookies)print(response.content)print(response.content.decode("utf-8"))我们可以看出response使用起来确实非常方便，这里有个问题需要注意一下：很多情况下的网站如果直接response.text会出现乱码的问题，所以这个使用response.content这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.请求发出后，Requests 会基于HTTP 头部对响应的编码作出有根据的推测。

当你访问response.text 之时，Requests 会使用其推测的文本编码。

你可以找出Requests 使用了什么编码，并且能够使用r.encoding 属性来改变它.如：response =requests.get("") response.encoding="utf-8"print(response.text)不管是通过response.content.decode("utf-8)的方式还是通过response.encoding="utf-8"的方式都可以避免乱码的问题发生各种请求方式requests里提供个各种请求方式import requestsrequests.post("/post")requests.put("/put")requests.delete("/delete")requests.head("/get")requests.options("/get")基本GET请求import requestsresponse = requests.get('print(response.text)带参数的GET请求，例子1import requestsresponse = requests.get("print(response.text)三、使用pycurl进行web提交PycURl是一个C语言写的libcurl的python绑定库。

libcurl 是一个自由的，并且容易使用的用在客户端的URL 传输库。

由于PycURl 是由C语言原生实现的，所以一般来说会比其会比纯python实现的liburl、liburl2模块快不少，可能也会比Requests的效率更高。

特别是使用PycURL的多并发请求时，效率更高。

pycurl 的用法示例1：以下是一个通过get方法获取大众点评杭州站页面的请求时间统计和字符统计的一个用法，也可以将结果显示，只需要将最后一行的打开即可。

#! /usr/bin/env python# -*- coding: utf-8 -*-import sysimport pycurlimport timeclass Test:def __init__(self):self.contents = ''def body_callback(self, buf):self.contents = self.contents + bufsys.stderr.write("Testing %sn" % pycurl.version)start_time = time.time()url = '/hangzhou't = Test()c = pycurl.Curl()c.setopt(c.URL, url)c.setopt(c.WRITEFUNCTION, t.body_callback)c.perform()end_time = time.time()duration = end_time - start_timeprint c.getinfo(pycurl.HTTP_CODE), c.getinfo(pycurl.EFFECTIVE_URL) c.close()print 'pycurl takes %s seconds to get %s ' % (duration, url)print 'lenth of the content is %d' % len(t.contents)#print(t.contents)四、使用python selenium抓取网页数据针对动态网页，这里讲一个简单的原理，大部分动态的部分会放在html里面的js代码里面，这个时候就需要用到，是一个内置的浏览器webdriver。

所谓内置的浏览器，你可以简单理解为一个看不到的浏览器。

当然也有firefox插件的浏览器，不过上面讲的内置浏览器会更常用一些。