怎样抓取网页内存里的内容

最近在研究网络爬虫  但抓回来的都是查看原文件一样的值,如果而通过js 已改变的值没办法抓回来,但内存里应该变了,请高手指点怎样抓回来的数据跟显示的一样啊?

扬帆大鱼
浏览 658回答 2
2回答

沧海一幻觉

js抓取不了 一般好的抓取的流程是这样的确定目标确定页面抓取内容(页面上的可见数据,一般是没办法用的)处理内容(将页面上的可见数据转换为自己需要的数据)将处理过后的内容存入自己的数据库虽然你无法抓取他的js但是可以吧他的js的参数抓取过来然后在在你的程序里吧那些参数像js处理一遍然后就获得了你自己想要的的东西了:)

跃然一笑

刚在CSDN上看到你这同样的问题。没有那么简单的就能抓取的,需要分析JS代码,配合自己的判断,总之ELT的过程肯定要自己一行一行去写的。
打开App,查看更多内容
随时随地看视频慕课网APP