与我的浏览器相比，Jsoup提供了不同的HTML文档

Question

我确保使用浏览器的用户代理，并且仍然提供不同的HTML。我还尝试使用Jsoup.parse（Url，int）而不是Jsoup.connect（String）。两次尝试：

Document doc = Jsoup.connect("https://www.bulq.com/lots/search/?category=Consumer%20Electronics&condition%5B%5D=Brand%20New")

.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6)AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.1Safari/605.1.15")

.get();

和

URL mainUrl = new URL("https://www.bulq.com/lots/search/category=Consumer%20Electronics&condition%5B%5D=Brand%20New");

Document doc = Jsoup.parse(mainUrl, 6000);

我在“元素”选项卡中使用Safari的“显示页面源”。我试图在下面复制一些HTML，但是格式不起作用:(所以这是一个小例子。

示例：Jsoup HTML中的div类之一是：

div class="row ng-cloak" ui-view

而Safari HTML是：

div class="row ng-scope" ui-view

Answer 1

我认为您可以尝试User-Agent使用jsoup作为标头发送Document doc = Jsoup.connect(url)                    .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/601.7.7 (KHTML, like Gecko) Version/9.1.2 Safari/601.7.7")                    .get();

Answer 2

尝试获取url1but的内容时我遇到了同样的问题，但jsoup返回了内容another url（可能是jsoup被重定向了）。感谢@Zendy的回答，我找到了解决方案：第一步：打开浏览器，然后按F12打开开发人员工具，导航至Network选项卡。将浏览器导航到获取内容所需的URL在请求标头上获取用户代理，并将其设置到您的jsoup中。