爬取新浪微博需要登陆问题

Question

比如我已经在浏览器上登陆过了,但是爬取网页的时候还需要再登陆一次.
求问:1.这和cookies有关么?2.如果有关的话,那么这边明明已经登陆了为什么不可以公用呢?3.如果和cookies无关,到底为什么呢....ps:只是为了做一些学校项目的分析需要用到一些微博文本

Answer 1

我试过cookie模拟登陆微博，是可行的哦。你可以先用Chrome登录微博，然后F12查看保存在浏览器中的cookie值和User-Agent信息。模拟登陆就好了。