Python爬虫 Urllib 库的使用方法

怎样爬取网页数据呢？就是通过 URL 从网站上来获取特定内容。“网页数据” 是网站用户体验的一部分，比如网页上的文字，图像，声音，视频和动画等，都算是网页数据。python 的 urllib2 库提供了访问网页数据的接口 API，我们可以使用这些 API 来爬取网页内容。

 

1. 使用 urllib2 库抓取网页

import urllib2

response = urllib2.urlopen("http://www.163.com")
print response.read()

我们把它保存成 demo.py，进入该文件的目录，执行运行命令，查看运行结果。

python demo.py

我们抓下来的网页内容如下：

<!DOCTYPE HTML>
<head>
<meta name="google-site-verification" content="PXunD38D6Oui1T44OkAPSLyQtFUloFi5plez040mUOc" />
<meta name="baidu-site-verification" content="oiT8OEfzes" />
<meta name="360-site-verification" content="527ad00f66a93c31134d6a20b2246950" />
<meta name="shenma-site-verification" content="12c2d7067c72735f0bd75c8dcd26b0d8_1509937417"/>
<meta name="sogou_site_verification" content="tCLG1xJc76"/>
<meta name="model_url" content="http://www.163.com/special/0077rt/index.html" />
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1" />
<title>网易</title>
<link rel="dns-prefetch" href="http://www.codebaoku.com//static.ws.126.net" />
<base target="_blank" />
<meta name="Keywords" content="网易,邮箱,游戏,新闻,体育,娱乐,女性,亚运,论坛,短信,数码,汽车,手机,财经,科技,相册" />
<meta name="Description" content="网易是中国领先的互联网技术公司，为用户提供免费邮箱、游戏、搜索引擎服务，开设新闻、娱乐、体育等30多个内容频道，及博客、视频、论坛等互动交流，网聚人的力量。" />

 

2. 分析扒网页的方法

那么我们来分析这两行代码，第一行：

response = urllib2.urlopen("http://www.163.com")

我们调用的是 urllib2 库里面的 urlopen 方法，传入一个 URL，这个网址是网易首页，协议是 HTTP 协议，当然你也可以把 HTTP 换做 HTTPSFTP,FILE 等，只是代表了一种访问控制协议，urlopen 通常接受三个参数，它的参数如下：

urlopen(url, data, timeout)

第一个参数 url 即为 URL，第二个参数 data 是访问 URL 时要传送的数据，第三个 timeout 是设置超时时间。 第二三个参数是可以不传送的，data 默认为空 None，timeout 默认为 socket._GLOBAL_DEFAULT_TIMEOUT。 第一个参数URL是必须要传送的，在这个例子里面我们传送了网易的 URL，执行 urlopen 方法之后，返回一个response 对象，返回信息便保存在这里面。

print response.read()

response 对象有一个 read 方法，可以返回获取到的网页内容。

如果不加 read 直接打印会是什么？答案如下：

<addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>>

直接打印出了该对象的描述，所以记得一定要加 read 方法，否则它不出来内容可就不怪我咯！

 

3. 构造 Request

其实上面的 urlopen 参数可以传入一个 request 请求,它其实就是一个 Request 类的实例，构造时需要传入 Url,Data 等等的内容。比如上面的两行代码，我们可以这么改写：

import urllib2

request = urllib2.Request("http://www.163.com")
response = urllib2.urlopen(request)
print response.read()

运行结果是完全一样的，只不过中间多了一个 request 对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个 request，服务器响应请求得到应答，这样显得逻辑上清晰明确。

 

4. POST 和 GET 数据传送

上面的程序演示了最基本的网页抓取，不过，现在大多数网站都是动态网页，需要你动态地传递参数给它，它做出对应的响应。所以，在访问时，我们需要传递数据给它。最常见的情况是什么？对了，就是登录注册的时候呀。 把数据用户名和密码传送到一个URL，然后你得到服务器处理之后的响应，这个该怎么办？下面让我来为小伙伴们揭晓吧！ 数据传送分为POST和GET两种方式，两种方式有什么区别呢？ 最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。

1）POST方式

上面我们说了data参数是干嘛的？对了，它就是用在这里的，我们传送的数据就是这个参数data，下面演示一下POST方式。

import urllib
import urllib2

values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values) 
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()

我们引入了 urllib 库，现在我们模拟登陆 CSDN，当然上述代码可能登陆不进去，因为 CSDN 还有个流水号的字段，没有设置全，比较复杂在这里就不写上去了，在此只是说明登录的原理。一般的登录网站一般是这种写法。 我们需要定义一个字典，名字为 values，参数我设置了 username 和 password，下面利用 urllib 的 urlencode 方法将字典编码，命名为 data，构建 request 时传入两个参数，url 和 data，运行程序，返回的便是 POST 后呈现的页面内容。 注意上面字典的定义方式还有一种，下面的写法是等价的。

import urllib
import urllib2

values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()

以上方法便实现了POST方式的传送。

2）GET 方式

至于GET方式我们可以直接把参数写到网址上面，直接构建一个带参数的URL出来即可。

import urllib
import urllib2

values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

你可以print geturl，打印输出一下url，发现其实就是原来的url加？然后加编码后的参数

http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

和我们平常GET访问方式一模一样，这样就实现了数据的GET方式传送。

有些网站对用户访问提交的数据格式和内容非常严格，所以为了完全模拟浏览器的工作，我们需要设置一些 Headers 的属性。1. 设置Headers：我们设置了一个headers，在构建request时传入，在请求时，就加入了 headers 传送，服务器若识别了是浏览器发来的请求，就会得到响应。2. Proxy（代理）的设置：urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。