如何使用Python请求伪造浏览器访问？

Question

如何使用Python请求伪造浏览器访问？

我想从以下网站获取内容。如果我使用像Firefox或Chrome这样的浏览器，我可以获得我想要的真实网站页面，但如果我使用Python请求包（或wget命令）来获取它，它将返回一个完全不同的HTML页面。我认为网站的开发者为此做了一些块，所以问题是：

如何使用python请求或命令wget伪造浏览器访问？

http://www.ichangtou.com/#company:data_000008.html

Answer 1

答案的根源是提出问题的人需要有一个JavaScript解释器来获取他们所追求的内容。我发现的是，在JavaScript解释之前，我能够在json的网站上获得我想要的所有信息。这节省了大量的时间来解析html，希望每个网页都采用相同的格式。因此，当您从网站使用请求获得响应时，请查看html / text，因为您可能会发现页脚中的javascripts JSON已准备好进行解析。