java模拟浏览器发送请求爬取网页的标签

Question

各位大神们：谁写过用java模拟浏览器，抓取网页标签，获取标签里的数据生成图片的？

Answer 1

要看下你的网页，是不是ajax方式动态加载的，httpconnection jsoup之类的，都是静态的，不会执行js去异步获取动态的内容。你可以先抓包，然后直接发包请求这些内容。

Answer 2

选择器没写对吧 另外如果目标div或其中的内容是ajax生成的,jsoup是获取不到的,这时可以用htmlunit之类带JavaScript引擎的