如何以编程方式下载Java网页

Question

如何以编程方式下载Java网页

我希望能够获取网页的html并将其保存到String，这样我就可以对它做一些处理了。此外，我如何处理各种类型的压缩。

我将如何使用Java来做这件事呢？

Answer 1

Bill的回答是非常好的，但是您可能想对请求做一些事情，比如压缩或用户代理。下面的代码演示如何对请求进行各种类型的压缩。URL url = new URL(urlStr);HttpURLConnection conn = (HttpURLConnection) url.openConnection();  // Cast shouldn't failHttpURLConnection.setFollowRedirects(true);  // allow both GZip and Deflate (ZLib) encodingsconn.setRequestProperty("Accept-Encoding", "gzip, deflate");  String encoding = conn.getContentEncoding();InputStream inStr = null;  // create the appropriate stream wrapper based on// the encoding typeif (encoding != null && encoding.equalsIgnoreCase("gzip")) {     inStr = new GZIPInputStream(conn.getInputStream());} else if (encoding != null && encoding.equalsIgnoreCase("deflate")) {     inStr = new InflaterInputStream(conn.getInputStream(),       new Inflater(true));} else {     inStr = conn.getInputStream();}若要设置用户代理，请添加以下代码：conn.setRequestProperty ( "User-agent", "my agent name");