前言
在上一篇文章中给大家讲解了requests发送post请求的几种方式,并分析了一些使用陷阱。
疑惑
在文章发表之后,有朋友给我留言说,知乎登录就没有使用提交Form表单(application/x-www-form-urlencoded)的方式,而是上传文件(multipart/form-data),这是为什么呢?知乎登录post请求该怎么发送呢?
本质
我想说的是一般情况下是使用提交Form表单的方式进行登录,但是不排除其他的方式。大家要透过现象看本质,登录验证的本质上是客户端发送验证消息,服务端校验消息,返回响应。登录验证可以使用提交Form表单,可以使用发送ajax,也可以上传验证文件,甚至我不用http请求,使用Websocket,都是可以的,这没必要纠结。好多朋友在知乎登录的时候,就傻眼了?这个怎么使用requests发送post请求呢?
新版知乎登录分析
首先打开谷歌浏览器,同时F12,打开开发者模式,并勾选Preserve log。
为了保留所有的网络信息
接着在知乎登录首页,输入账号与密码,开始登录。(这次不涉及验证码的分析)
知乎登录
知乎登录请求如下图,大家肯定注意到了content-type: multipart/form-data; boundary=----WebKitFormBoundarypxPm5bUFaA8CHOHo。不仅不是Form表单提交,而且和之前讲的上传文件还有区别,即boundary的配置。
image
requests模拟知乎登录
上一篇文章里的文件上传,post函数里使用的是files参数,通过这个参数来表明使用的是multipart/form-data编码,这里不再是通过files参数传文件,而是传参数,其实本质上一样的,文件内容不就是这参数吗?好,为了测试方便,向 http://httpbin.org/post 发送post请求,代码如下:
import requests url = "http://httpbin.org/post"fields = { "client_id": "c3cef7c66a1843f8b3a9e6a1e3160e20", "grant_type": "password", "timestamp": "1527040472416", "source": "com.zhihu.web", "signature":"66a16483ab16e54c3bb4ef84bf683dd67cadc246", "username": "xxxxx@qq.com", "password": "xxxxxxxx"} res = requests.post(url, files=fields) print(res.request.body) print(res.request.headers) print(res.text)
从上面代码中可以看到,files参数只不过变成了参数字典。在控制台的输出效果如下:
image
打印的方式观察的效果不是很好,不如使用http Analyzer
抓取发送的包更加直观。对于http Analyzer的使用在我的书《Python爬虫开发与项目实战》中有讲解。http Analyzer抓到的发送包请求头截图如下:
请求头
image
payload信息如下,效果已经出来了。
post payload
image
从上面两张图中,我们发现我们写的程序没有问题,发送的post请求和知乎登录的数据包差别不是很大。
boundary定制
要说和知乎登录请求包还有什么差别,也就是boundary的配置。
知乎登录的类似boundary=----WebKitFormBoundarypxPm5bUFaA8CHOHo,而我们写的程序为boundary=f30cf72e14254d59a9824e694e10e2c0。肯定有聪明的小伙伴,已经开动脑筋,我们在requests单独配置headers不就可以了?很不幸的告诉大家,这样是不行的,虽然headers改变了,但是post数据中的boundary内容并没有改变呢。这个时候我们要引入帮手requests_toolbelt。
requests_toolbelt
requests_toolbelt是对requests的补充,是一个第三方辅助插件,通过这个插件就可以定制boundary。首先安装requests_toolbelt:
pip3 install requests_toolbelt
定制代码如下:
import requestsfrom requests_toolbelt import MultipartEncoder url = "http://httpbin.org/post"fields = { "client_id": "c3cef7c66a1843f8b3a9e6a1e3160e20", "grant_type": "password", "timestamp": "1527040472416", "source": "com.zhihu.web", "signature":"66a16483ab16e54c3bb4ef84bf683dd67cadc246", "username": "xxxxx@qq.com", "password": "xxxxxxxx"} m = MultipartEncoder(fields, boundary='----WebKitFormBoundaryWp8R1tWtqL2vhLuG') res = requests.post(url, headers={'Content-Type': m.content_type}, data=m.to_string()) print(res.request.body)# # 查看请求头print(res.request.headers) print(res.text)
发送效果
这次直接使用http analyzer抓包看一下效果。
请求头
image
post payload
作者:qiye
链接:https://www.jianshu.com/p/4694c91d752b
热门评论
知乎登录好像又更新了。。。。可以赐教么,现在的表单信息是一串英文加数字混合