关于爬虫可以绕过登录是怎么实现的呢？

Question

网上老是有人说自己写的爬虫绕开  会员登录  去下载只有会员才能看的小说，这是如何实现的？谢谢！！1

Answer 1

服务器端并不能识别你的程序是浏览器还是爬虫，浏览器本身也是程序，只要爬虫在传输数据上表现和浏览器完全一样，理论上浏览器能看到的东西爬虫都能看到。服务器一般是靠cookie来区分登陆还是非登陆用户，只要爬虫携带认证后的用户的cookie，对于服务器那边来说，会认为你是个登陆后的会员用户，便把登陆后的信息返回给你了。这种方式本身还是要有个合法的会员信息的，用现成cookie也好，靠爬虫模拟登陆新生成的cookie也好，没有这个的话是无法表明你是个会员用户的，所谓绕开会员登录只是一个宣称手段罢了。

Answer 2

带上能够通过验证的请求头就可以了。