Python urllib2 使用

简介

urllib2 是python的一个用于发起http请求的库，常用于请求html网页内容。

使用

#! -*- encoding:utf-8 -*-
import urllib2 #导入urllib2库文件
import cookielib
url = 'www.baidu.com'
# 第一种用法
#发起http请求
response1 = urlib2.urlopen(url)

#获取response响应code
code1 = response1.getcode();

#读取获取的内容
content = response.read()

#第二种用法
request = urlib2.Request(url)
request.add_header(
'user-agent':'Mozilla/5.0'
)
response2 = request.urlopen(request)

code2 = response2.getcode();

content2 = response2.read();

#第三种用法
cj = cookielib.CookieJar()

opener  = urlib2.build_opener(urllib2.HTTPCookieProcessor(cj))

urlib2.install_opener(opener)

response3 = urlib2.urlopen(url)

code3 = response3.getcode();

content3 = response3.read()

第三种用handler的方式比较难以理解，但是功能强大，下面理出常用的几种handler：

1. urllib2.HTTPHandler() 通过HTTP打开URL
2. urllib2.CacheFTPHandler() 具有持久FTP连接的FTP处理程序
3. urllib2.FileHandler() 打开本地文件
4. urllib2.FTPHandler() 通过FTP打开URL
5. urllib2.HTTPBasicAuthHandler() 通过HTTP验证处理
6. urllib2.HTTPCookieProcessor() 处理HTTP cookie
   urllib2.HTTPDefaultErrorHandler() 通过引发HTTPError异常处
   理HTTP错误
7. urllib2.HTTPDigestAuthHandler() HTTP摘要验证处理
8. urllib2.HTTPRedirectHandler() 处理HTTP重定向
9. urllib2.HTTPSHandler() 通过安全HTTP重定向
10. urllib2.ProxyHandler() 通过代理重定向请求
11. urllib2.ProxyBasicAuthHandler 基本的代理验证
12. urllib2.ProxyDigestAuthHandler 摘要代理验证
    urllib2.UnknownHandler 处理所有未知URL的处理程序

目前由于初学python,对与urllib2的掌握就这么多，等待更深入的学习之后再做更新