Selenium爬虫注意事项

部分网站反爬策略较严，一般的爬虫程序不能及时采集数据。如果进行网站反爬策略分析，需要研发投入大量的时间和精力，因此使用Selenium模拟用户浏览器进行数据访问，快速实现数据采集是较好的方案。

但是Selenium爬虫在实际的部署中，需要规避一些常见的问题，才能实现稳定持续的数据采集，包括：

1、开发模式

设置为开发者模式，防止被各大网站识别出来使用了Selenium

from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])#开启实验性功能
browser=webdriver.Chrome(options=option)

# 修改get方法
script = '''
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
'''
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})

2、登录生成Cookie

如果版本不符合，会导致运行失败，因此推荐安装chrome和对应driver：

下载chrome对应版本的chrome deriver

下载chrome https://www.google.com/chrome/

下载对应版本 driver https://chromedriver.chromium.org/downloads

3、爬虫代理选择

为了避免目标网站访问频繁，必须配置爬虫代理。由于Selenium调用浏览器，需要稳定的网络连接、较低的延迟和较高的并发，因此建议使用隧道转发代理IP，目前市面上大部分的隧道转发代理产品，都需要代码写入用户名和密码的认证方式，代码参考如下

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

def create_proxy_auth_extension(proxy_host, proxy_port,
                               proxy_username, proxy_password,
                               scheme='http', plugin_path=None):
    if plugin_path is None:
        plugin_path = r'D:/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password)

    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "16YUN Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = string.Template(
        """
        var config = {
            mode: "fixed_servers",
            rules: {
                singleProxy: {
                    scheme: "${scheme}",
                    host: "${host}",
                    port: parseInt(${port})
                },
                bypassList: ["foobar.com"]
            }
          };

        chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

        function callbackFn(details) {
            return {
                authCredentials: {
                    username: "${username}",
                    password: "${password}"
                }
            };
        }

        chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: [""]},
            ['blocking']
        );
        """
    ).substitute(
        host=proxy_host,
        port=proxy_port,
        username=proxy_username,
        password=proxy_password,
        scheme=scheme,
    )

    with zipfile.ZipFile(plugin_path, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)

    return plugin_path

proxy_auth_plugin_path = create_proxy_auth_extension(
    proxy_host=proxyHost,
    proxy_port=proxyPort,
    proxy_username=proxyUser,
    proxy_password=proxyPass)

option = webdriver.ChromeOptions()

option.add_argument("--start-maximized")

# 如报错 chrome-extensions 
# option.add_argument("--disable-extensions")

option.add_extension(proxy_auth_plugin_path)

# 关闭webdriver的一些标志
# option.add_experimental_option('excludeSwitches', ['enable-automation'])        

driver = webdriver.Chrome(chrome_options=option)

# 修改webdriver get属性
# script = '''
# Object.defineProperty(navigator, 'webdriver', {
# get: () => undefined
# })
# '''
# driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})   

driver.get("http://httpbin.org/ip")

请注意plugin_path中的r'D:/{}_{}@t.16yun.zip'是存放代理认证信息的临时目录和文件，可根据本地的文件目录权限进行动态配置，否则读取失败会导致程序每次运行的时候，都提示要求手动输入用户名和密码认证信息的问题。