err_blocked_by_response-原创手记-慕课网

网络爬虫中常见错误：err_blocked_by_response

在网络爬虫的执行过程中，我们有时会遇到一个错误信息："err_blocked_by_response"。这个错误信息通常表示请求被服务器 blocking，即服务器拒绝接收客户端的请求。这个错误信息通常是由于客户端试图访问被禁止的资源或者未授权的操作导致的。在网络爬虫中，这个错误信息经常会遇到，因为爬虫需要不断向服务器发送请求才能完成数据抓取。

产生原因及处理方法

首先，我们要分析产生这个错误的原因，并根据不同情况进行处理。比如，如果是因为请求频率过高导致的，我们可以通过调整请求间隔或增加请求头中的"User-Agent"来避免被服务器封禁。具体来说，可以在Python中这样实现：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 设置User-Agent

for url in urls:
    try:
        response = requests.get(url, headers=headers, timeout=5)
        if response.status_code == 200:
            print(response.text)
        elif response.status_code == 429:  # 判断是否是因为请求频率过高
            print("Request frequency is too high, please try again later.")
            time.sleep(5)  # 等待一段时间后重试
        else:
            print("Error accessing the URL: ", response.status_code)
    except requests.exceptions.RequestException as e:
        print("Request error: ", e)

这里，我们通过设置User-Agent来模拟浏览器访问，同时设置了超时参数来防止频繁请求导致的服务器封禁。

如果是因为IP被封禁，那么我们需要等待一段时间后尝试再次连接，或者使用代理IP来继续请求。可以使用如下代码来实现：

import random
import time
import requests
from bs4 import BeautifulSoup

proxies = [{'http': 'http://10.10.1.10:3128', 'https': 'https://10.10.1.10:3128'}, {'http': 'http://10.10.2.10:3128', 'https': 'https://10.10.2.10:3128'}]  # 使用代理IP

for url in urls:
    try:
        response = requests.get(url, proxies=proxies, timeout=5)
        if response.status_code == 200:
            print(response.text)
        elif response.status_code == 429:  # 判断是否是因为请求频率过高
            print("Request frequency is too high, please try again later.")
            time.sleep(5)  # 等待一段时间后重试
        else:
            print("Error accessing the URL: ", response.status_code)
    except requests.exceptions.RequestException as e:
        print("Request error: ", e)

这里，我们通过设置proxies参数来使用代理IP进行请求。

结论

总之，在网络爬虫中，"err_blocked_by_response"是一个常见的错误信息。我们需要及时分析原因并进行处理，以保证爬虫的正常运行。可以通过调整请求频率、设置User-Agent以及使用代理IP等方式来避免或解决此问题。