在本文中，我们深入探讨了网络爬虫领域，重点关注requests库作为开发高效、简洁网络爬虫的基础工具。从安装与基础使用开始，逐步引导读者理解如何通过requests库发送GET和POST请求，自定义请求头，以及处理HTTP响应。本文不仅提供了解析HTML页面内容、解析特定类名或ID定位所需信息的实例，还讨论了错误处理与重试机制，确保爬虫程序的稳定性和鲁棒性。最后，文章强调了安全与道德考虑，包括遵循Robots协议、避免对网站服务器造成负担，并提供了后续学习路径，以帮助开发者提升网络爬虫的开发能力。通过实践案例与详细代码示例，本文旨在为希望深入学习网络爬虫开发的读者提供全面指导。
引言
A. 介绍网络爬虫概念
网络爬虫（Web Spider）是一种自动抓取互联网上信息的程序，通过模拟用户浏览器的行为访问网站，获取网页内容，然后解析、存储或进一步分析所需的信息。网络爬虫广泛应用于搜索引擎、数据挖掘、内容聚合等领域。
B. 为什么选择requests库
requests 是 Python 语言中的一个 HTTP 客户端库，它简单易用、功能强大，非常适合用于网络爬虫开发。requests 提供了丰富的功能，如自动处理 HTTP 请求头、自动处理重定向、支持并发请求等，极大地简化了 HTTP 通信的复杂性，使得开发者能更专注于爬虫逻辑的设计。
安装requests库
在 Python 项目中安装 requests 库，只需运行以下命令：
pip install requests验证安装成功
在 Python 脚本中验证 requests 库是否成功安装，并简单测试其功能：
import requests
# 发送GET请求
response = requests.get('https://www.example.com/')
print(response.status_code) # 输出 HTTP 状态码
print(response.text) # 输出 HTML 内容requests基础使用
A. 发送GET请求
使用 requests.get() 发送 GET 请求：
response = requests.get('https://www.example.com/')
print(response.status_code)
print(response.text)B. 发送POST请求
使用 requests.post() 发送 POST 请求：
data = {'key': 'value'}
response = requests.post('https://www.example.com/post', data=data)
print(response.status_code)
print(response.text)C. 处理请求头（Headers）
自定义请求头：
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('https://www.example.com/', headers=headers)
print(response.status_code)处理响应数据
A. 获取HTTP响应状态码
通过 response.status_code 查看 HTTP 响应状态码：
response = requests.get('https://www.example.com/')
print(response.status_code)B. 解析HTML页面内容
使用 BeautifulSoup 库解析 HTML 内容：
from bs4 import BeautifulSoup
response = requests.get('https://www.example.com/')
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.prettify())C. 使用BeautifulSoup进行HTML解析
from bs4 import BeautifulSoup
response = requests.get('https://www.example.com/')
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有段落标签
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())错误处理与重试机制
A. 处理网络请求中的常见错误
try:
response = requests.get('https://www.example.com/does-not-exist')
print(response.text)
except requests.exceptions.RequestException as e:
print(f"请求错误: {e}")
except requests.exceptions.HTTPError as e:
print(f"HTTP 错误: {e}")B. 实现请求重试逻辑
import time
def retry_request(max_attempts=3, delay=5):
for attempt in range(max_attempts):
try:
response = requests.get('https://www.example.com/', timeout=10)
response.raise_for_status() # 检查 HTTP 响应状态码
return response
except (requests.exceptions.RequestException, requests.exceptions.HTTPError) as e:
if attempt < max_attempts - 1:
print(f"请求失败, 尝试重试({attempt + 1}/{max_attempts}): {e}")
time.sleep(delay)
else:
print(f"请求失败: 最终尝试失败 - {e}")
return None
response = retry_request()
if response:
print(response.text)实战案例：抓取特定网站信息
A. 分析目标网站结构
例如，分析 https://www.example.com/ 的 HTML 结构，可能有特定的类名或 ID 用于定位所需信息。
B. 编写爬虫代码进行数据抓取
import requests
from bs4 import BeautifulSoup
def scrape_example():
url = 'https://www.example.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 根据网站结构定位所需信息
items = soup.find_all('div', class_='item')
for item in items:
title = item.find('h2')
price = item.find('span', class_='price')
print(f"标题: {title.text.strip()}, 价格: {price.text.strip()}")
scrape_example()C. 数据保存与输出
将数据保存到文件或数据库：
import json
def save_data(data, filename):
with open(filename, 'w', encoding='utf-8') as f:
json.dump(data, f, ensure_ascii=False, indent=4)
data = [
{'title': '商品1', 'price': '100元'},
{'title': '商品2', 'price': '200元'}
]
save_data(data, 'output.json')安全与道德考虑
A. 遵循Robots协议
在爬取网站数据前，应检查网站的 robots.txt 文件，了解哪些页面可以被爬取。
B. 避免对网站服务器造成过大负担
合理设置请求间隔、使用代理、限制并发请求数量，避免对目标网站服务器造成过大的访问压力。
后续学习路径
A. 进阶API和库学习
学习更高级的爬虫库，如 Scrapy，了解更复杂的网络爬虫设计和管理。
B. 处理复杂网页和动态资源
掌握如何处理 JavaScript 加载的内容、使用 Selenium 或其他自动化浏览器工具。
C. 学习反爬机制与应对策略
了解网站常见的反爬技术（如 IP 检测、验证码、JavaScript 加载内容）以及如何进行反反爬策略的应对。
通过持续学习和实践，不断提高网络爬虫的开发能力，既能有效利用爬虫获取数据，也能遵循道德规范，促进信息的合理利用。