爬虫抓取数据页一直返回HTTP code 417

同一份代码在本地测试请求数据页返回200,
https://img2.mukewang.com/5bc355c9000122c007640246.jpg

但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417
https://img4.mukewang.com/5bc355de0001897e07670249.jpg

用Advanced REST client在本地模拟这段请求也是可以通过的
https://img1.mukewang.com/5bc355e900016e3307630315.jpg

查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢


紫衣仙女
浏览 1187回答 2
2回答

慕标5832272

很可能是服务器因为采集数据过多被封了,这样只能使用HTTP代理了
打开App,查看更多内容
随时随地看视频慕课网APP