猿问

node爬取微博

刚接触node,想写个爬虫,爬取新浪微博评论,但是发现页面是由JS动态生成的,用http模块爬取不到,然后用phantomjs爬取,(听说会比较慢,运行了近15分钟,这也太慢了,不知是否写错),还是不行,问一下有什么办法能够爬取类似于新浪微博的网页吗?

拉莫斯之舞
浏览 512回答 1
1回答

慕村225694

自己写过微博的爬取,有两种思路仔细看一下应该是有接口去获取相应数据的然后用正则去匹配微博提供了开发者API接口的,虽然用着比较麻烦
随时随地看视频慕课网APP

相关分类

JavaScript
我要回答