使用requests库抓取页面的时候的编码问题

Question

我在开始加了以下的代码
#-*-coding:utf-8-*-
importsys
reload(sys)
sys.setdefaultencoding('utf-8')
但是用
printrequests.Session().get(url,data=data).text
结果中输出了长这个样子的乱码
°æȨËùÓÐ2013¶«ÄÏ´óѧÍøÂçÓëÐÅÏ¢ÖÐÐÄ
然后试着查看了一下上面文本的格式
printtype(requests.Session().get(url,data=data).text)
输出的结果就是unicode，后来我又看了页面的head头中写了页面编码是gb2312，我后面又把代码改成了
printrequests.Session().get(url,data=data).text.encode('gb2312')
结果就出现了下面的异常
UnicodeDecodeError:'gb2312'codeccan'tdecodebytesinposition227-228:illegalmultibytesequence1
把代码改成
printrequests.Session().get(url,data=data).text.encode('gb2312','ignore')
依然是乱码
真的是没辙了，希望各位大大指点一下

Answer 1

首先，sys.setdefaultencodingisevil。其次，不会用Requests就去看文档，不要乱来。如果Requests检测不到正确的编码，那么你告诉它正确的是什么：response.encoding='gbk'printresponse.text原始内容在response.content里，bytes，自己想怎么处理就怎么处理。单个请求完全没必要用Session。直接requests.get(xxx)就可以了。最后，弄不明白怎么处理编码错误的字符串就仔细想想，或者用Python3.x，不要散弹枪编程。以下是Python3。Python2在那个字符串前加个u告诉它是unicode也一样。>>>'°æȨËùÓÐ2013¶«ÄÏ´óѧÍøÂçÓëÐÅÏ¢ÖÐÐÄ'.encode('latin1').decode('gbk')'版权所有2013东南大学网络与信息中心'

Answer 2

resp=requests.get(url)print(resp.text.encode(resp.encoding).decode('utf-8'))