慕妹9972581
2018-07-14 10:47
老师 您好,
我按照你的做法还有参考了阿布云官方的示例代码
import base64 # 代理服务器 proxyServer = "http://http-dyn.abuyun.com:9020" # 代理隧道验证信息 proxyUser = "H01234567890123D" proxyPass = "0123456789012345" # for Python2 proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass) # for Python3 #proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8") class ProxyMiddleware(object): def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth
加了下面这句就会产生一个错
request.meta["proxy"] = proxyServer
错误是:
twisted.web.error.SchemeNotSupported: Unsupported scheme: b''
base64.b64encode
这里找找问题
需要添加协议名称,“http://”或者“https://”
我也出现了这个问题,找了很久 结果是我在middlewares.py中设置了无效的Proxy导致。
遇到同样问题
遇到了同样的问题。
是不是少了http协议头了。
同样错误,想问一下解决方法
我的也报错了。
请问一下,这个问题最后解决了吗?
Python最火爬虫框架Scrapy入门与实践
67422 学习 · 235 问题
相似问题