在新浪微博现行的架构里，我如何爬取单个用户的所有微博？

Question

近期在新浪微博上关注了一个相当有料的博主，个人大概有两万多条微博的数据，基本上是以纯文字居多。

有没有做过数据采集的和爬虫的小伙伴，说说这部分思路和理解？（个人也在摸索）

Answer 1

我之前做过一个爬微博文章的，用的是puppeteer.js，完全模拟的是用户行为，不会被屏蔽检测你可以看下这个库

Answer 2

爬微博是犯法的哟，请仔细阅读微博的用户协议。所以偷偷搞就是了，不要这么大张旗鼓的……

Answer 3

Java没做过微博的，但思路的话大概就是先获取认证Cookie，Token之类的，然后用Fiddler抓包，主要是抓请求数据的接口，然后在用Jsoup把微博的部分抓下来进行持久化。关于源的话应该有App接口，或者是PC网页和H5网页，看哪个更加容易选哪个。

Answer 4

微博有自己的开放平台，你可以通过微博的API获取，没必要用爬虫