谈谈喜马拉雅的反爬机制?

最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。

慕工程0101907
浏览 757回答 3
3回答

幕布斯6054654

喜马拉雅是双封,先在你的 cookies 写入封禁的字段,然后封禁 IP ;如果你换了 IP,不清理 cookies,一样死;所以解封的办法是,先清理 cookie,然后换 IP。然后访问就 OK 了。

有只小跳蛙

我是做代理 IP 的,有的客户,成立了一个攻坚反爬部门,专门研究怎么绕过风控抓取数据,建议大家采用这个方法尝试一下
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python