关于微博的爬虫问题！！？

Question

不知道各位爬虫过微博的页面么？
今天我试了试，获取到的html内容居然不是我想要的！！
全是js内容，
我猜测微博是实用js文件加载内容的。

那么问题来了，
我要怎么获取js加载后的页面内容呢？就是body里面的标签内容。

我使用的是nodejs，superangert、cheerio、express。
望大神赐教，小弟感恩不尽。

Answer 1

1）用正常的URL请求取访问，获取返回的内容存在本地发文件后，check下和最终的HTML文件内容有那些区别2）你用下chrome的开发工具或firebug等工具查看页面的网络请求，查找其中的有关的http请求，特别是那些JSONP的请求3）有些内容是要LAZY加载的，还需要你进一步观察~~~~4）如果你对实时性要求不高的，可以考虑用phantomJS或electron等框架，让HTML渲染引擎完全渲染后，在抓取内容总之，现在页面越来越难抓了~~~，另外爬虫，要用到express么？superangert用来做代理？