requests学习：入门教程与实践指南

概述

本文介绍了requests库的基本用法和应用场景，包括发送GET和POST请求、处理响应以及常见的错误处理方法。通过丰富的示例，帮助读者掌握requests库的实际应用。你可以了解到如何安装、使用和调试requests库，从而更好地进行Web数据抓取和API调用。

介绍requests库

什么是requests库

Requests 是一个简单且功能强大的 HTTP 库，用于发送 HTTP 请求。它支持多种 HTTP 方法，如 GET、POST、PUT、DELETE 等，并且可以轻松地与各种 Web 服务进行交互。Requests 是 Python 编程中最常用的库之一，适用于构建 Web 应用和进行 Web 自动化操作。

requests库的作用与应用场景

Requests 库的主要作用是发送 HTTP 请求并处理响应。它广泛应用于以下场景：

• Web 数据抓取：从网页中提取数据，如新闻、博客文章、产品信息等。
• API 调用：与第三方 API 进行交互，如天气 API、社交媒体 API 等。
• Web 自动化：模拟浏览器行为，如登录网站、提交表单等。
• 测试 Web 应用：测试 Web 应用的响应和性能。

安装requests库的方法

在 Python 中，可以通过 pip 包管理器来安装 requests 库。具体步骤如下：

1. 打开命令行工具（如 Windows 的命令提示符或 macOS/Linux 的终端）。
2. 输入以下命令并按回车键：

   pip install requests

安装完成后，你就可以在 Python 代码中导入并使用 requests 库了。

GET请求的使用

GET请求的基本语法

GET 请求用于从服务器获取数据。其基本语法如下：

import requests

response = requests.get(url, params=params, headers=headers, timeout=timeout)

• url：请求的目标 URL 地址。
• params：传递给服务器的查询参数。
• headers：包含额外的 HTTP 请求头。
• timeout：设置请求超时时间（单位：秒）。

发送GET请求的常用参数

• params：这是一个字典，用于传递查询参数。
• headers：通常用于设置自定义的 HTTP 头。
• timeout：设置请求超时时间，防止请求挂起。

示例：获取网页内容

下面是一个简单的示例，演示如何使用 GET 请求从一个网站获取网页内容：

import requests

url = "https://www.example.com"
response = requests.get(url)

# 打印响应内容
print(response.text)

在这个示例中，requests.get(url) 发送 GET 请求并获取响应。response.text 包含了网页的 HTML 内容。

更复杂的GET请求实例

下面是一个处理不同响应头的实例：

import requests

url = "https://www.example.com"
headers = {
    "User-Agent": "Mozilla/5.0",
    "Accept": "application/json"
}
response = requests.get(url, headers=headers)

print("Response headers:", response.headers)
print("Response content:", response.text)

在这个示例中，通过设置 headers 参数，我们能够指定客户端期望的内容类型。

POST请求的使用

POST请求的基本语法

POST 请求用于向服务器发送数据。其基本语法如下：

import requests

response = requests.post(url, data=data, json=json, headers=headers, timeout=timeout)

• url：请求的目标 URL 地址。
• data：传递给服务器的数据，通常为表单数据。
• json：传递 JSON 格式的数据。
• headers：包含额外的 HTTP 请求头。
• timeout：设置请求超时时间（单位：秒）。

发送POST请求的常用参数

• data：包含 POST 请求的数据，通常为表单数据。
• json：传递 JSON 格式的数据。
• headers：通常用于设置自定义的 HTTP 头。
• timeout：设置请求超时时间，防止请求挂起。

示例：发送表单数据

下面是一个示例，演示如何使用 POST 请求向一个网站发送表单数据：

import requests

url = "https://www.example.com/login"
data = {
    "username": "user123",
    "password": "password123"
}

response = requests.post(url, data=data)

# 打印响应内容
print(response.text)

在这个示例中，requests.post(url, data=data) 发送 POST 请求并传递表单数据。response.text 包含了服务器返回的响应内容。

复杂POST请求实例

下面是一个处理更复杂的表单数据的实例：

import requests

url = "https://www.example.com/submit"
data = {
    "name": "John Doe",
    "email": "[e-mail]",
    "message": "Hello, World!"
}

response = requests.post(url, data=data)

print("Response content:", response.text)

在这个示例中，我们发送了一个包含多个键值对的复杂表单数据。

响应处理

获取响应状态码

响应对象的 status_code 属性可以用来获取 HTTP 响应的状态码，例如：

import requests

url = "https://www.example.com"
response = requests.get(url)

print("Status code:", response.status_code)

获取响应头

响应对象的 headers 属性可以用来获取 HTTP 响应头，例如：

import requests

url = "https://www.example.com"
response = requests.get(url)

print("Response headers:", response.headers)

获取响应内容

响应对象的 text 属性可以用来获取响应内容的文本形式，例如：

import requests

url = "https://www.example.com"
response = requests.get(url)

print("Response content:", response.text)

处理JSON响应

如果响应内容是 JSON 格式，可以使用 response.json() 方法来解析 JSON 数据，例如：

import requests

url = "https://api.example.com/data"
response = requests.get(url)

# 解析 JSON 响应
data = response.json()

print("Parsed JSON data:", data)

请求的高级用法

设置请求头

请求头可以用来向服务器提供额外的元数据，例如：

import requests

url = "https://www.example.com"
headers = {
    "User-Agent": "Mozilla/5.0",
    "Content-Type": "application/json"
}

response = requests.get(url, headers=headers)

print("Response headers:", response.headers)

会话管理

会话管理允许你维护持久的会话状态，例如：

import requests

session = requests.Session()
session.get("https://www.example.com/login")
session.post("https://www.example.com/login", data={"username": "user", "password": "pass"})
response = session.get("https://www.example.com/profile")

print("Profile page content:", response.text)

超时设置

超时设置可以防止请求挂起，例如：

import requests

url = "https://www.example.com"
response = requests.get(url, timeout=5)

print("Response content:", response.text)

重定向处理

重定向处理允许你控制服务器返回的重定向行为，例如：

import requests

url = "https://www.example.com"
response = requests.get(url, allow_redirects=True)

print("Final URL:", response.url)

错误处理与调试

常见错误及其原因

• requests.exceptions.ConnectionError：当服务器无法连接时抛出。
• requests.exceptions.Timeout：当请求超时时抛出。
• requests.exceptions.HTTPError：当 HTTP 响应状态码为 4xx 或 5xx 时抛出。

异常处理方法

异常处理可以提高程序的健壮性，例如：

import requests

try:
    url = "https://www.example.com"
    response = requests.get(url)
    response.raise_for_status()
except requests.exceptions.HTTPError as http_err:
    print(f"HTTP error occurred: {http_err}")
except Exception as err:
    print(f"Other error occurred: {err}")
else:
    print("Success!")

使用requests调试技巧

调试技巧包括打印请求和响应信息，例如：

import requests

url = "https://www.example.com"
response = requests.get(url)
print("Request headers:", response.request.headers)
print("Response headers:", response.headers)
print("Response status code:", response.status_code)
print("Response content:", response.text)

通过以上示例，你可以更好地理解和使用 requests 库来发送 HTTP 请求和处理响应。