背景
最近一直在搞论坛的爬虫。爬着爬着，突然遇到一个论坛的反爬虫机制比较强。例如：http://bbs.nubia.cn/forum-64-1.html。当访问这个页面时，第一次返回的不是html页面，而是加密后的js内容，然后写入cookie，等待设置好的时间，然后跳转到真正的页面。 如下图：
加密混淆后的js
想到的方案：
分析加密的js，看怎么计算出的cookie，是否有规律可以生成该cookie等，然后每次访问时带上此cookie即可。
使用Pypisder自带的PhantomJs脚本，以PhantomJs的方法执行这个加密的JS，然后获取html的内容。
使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
使用puppeteer + Headless Chrome获取html的内容。
分析方案：
分析加密的js不是件容易的事，要破解加密方法等难度相对较大，时间成本有限，暂时放弃。
本打算使用pyspider自带的phanthomjs方式，结果是phanthoms在访问上面的url时，一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了，对于bug的修复和新的js语法支持力度不够。（需要进一步分析为什么会卡死？）
最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面，搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器，支持js特性比较全面，能真实的模拟用户请求，而且Chrome官方也出了针对headless chrome的api(node版本)，api的可靠性，支持chrome特性的力度都非常的好。
puppeteer 是nodejs版本的api， 对nodejs不熟悉，暂时先忽略。
Chrome
Chrome浏览器从59版本之后开始支持headless模式，用户可以在无界面下进行各种操作，例如：截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome，请根据平台进行下载、安装。更多headless chrome的用法可以参考：headless chrome用法
Selenium
Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器，但它并不是真正的浏览器，它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的，每个浏览器都有对应的WebDriver。如果我们要用Chrome，就需要下载Chrome的WebDriver。
Selenium有很多语言版本的，你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装：pip install selenium
下载WebDriver时需要选择对应的平台，比如我是在win上跑，下载的就是windows平台的。
配置PATH
把下载的WebDriver放在PATH环境变量可以加载到的位置，这样在程序中不用指定webDriver，会方便很多。
Python版本的Headless Chrome Web Server
pyspider利用phantomjs爬取js动态页面的原理：
pyspider搜索PATH中的phantomjs命令，然后使用phantomsjs去执行phantomjs_fetcher.js，从而启动一个监听固定port的web server服务；当在Handler中的self.crawl(xxx)方法中带上fetch_type='js'参数时，pyspider便发请求给这个port，利用phantomjs去转发请求，访问js动态页面，从而爬虫动态页面。
如果我想利用selenium+chrome爬取动态页面，也需要实现一个web server，以便pyspider可以访问它，利用它转发请求。python版本的实现如下：
"""
selenium web driver for js fetcher
"""import urlparseimport jsonimport timeimport datetimefrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom flask import Flask, request
app = Flask(__name__)@app.route('/', methods=['POST', 'GET'])def handle_post():
if request.method == 'GET':
body = "method not allowed!"
headers = { 'Cache': 'no-cache', 'Content-Length': len(body)
} return body, 403, headers else:
start_time = datetime.datetime.now()
raw_data = request.get_data()
fetch = json.loads(raw_data, encoding='utf-8')
print('fetch=', fetch)
result = {'orig_url': fetch['url'], 'status_code': 200, 'error': '', 'content': '', 'headers': {}, 'url': '', 'cookies': {}, 'time': 0, 'js_script_result': '', 'save': '' if fetch.get('save') is None else fetch.get('save')
}
driver = InitWebDriver.get_web_driver(fetch) try:
InitWebDriver.init_extra(fetch)
driver.get(fetch['url']) # first time will sleep 2 seconds
if InitWebDriver.isFirst:
time.sleep(2)
InitWebDriver.isFirst = False
result['url'] = driver.current_url
result['content'] = driver.page_source
result['cookies'] = _parse_cookie(driver.get_cookies()) except Exception as e:
result['error'] = str(e)
result['status_code'] = 599
end_time = datetime.datetime.now()
result['time'] = (end_time - start_time).seconds # print('result=', result)
return json.dumps(result), 200, { 'Cache': 'no-cache', 'Content-Type': 'application/json',
}def _parse_cookie(cookie_list):
if cookie_list:
cookie_dict = dict() for item in cookie_list:
cookie_dict[item['name']] = item['value'] return cookie_dict return {}class InitWebDriver(object):
_web_driver = None
isFirst = True @staticmethod
def _init_web_driver(fetch):
if InitWebDriver._web_driver is None:
options = Options() # set proxy
if fetch.get('proxy'): if '://' not in fetch['proxy']:
fetch['proxy'] = 'http://' + fetch['proxy']
proxy = urlparse.urlparse(fetch['proxy']).netloc
options.add_argument('--proxy-server=%s' % proxy) # reset headers, for now, do nothing
set_header = fetch.get('headers') is not None
if set_header:
fetch['headers']['Accept-Encoding'] = None
fetch['headers']['Connection'] = None
fetch['headers']['Content-Length'] = None
if set_header and fetch['headers']['User-Agent']:
options.add_argument('user-agent=%s' % fetch['headers']['User-Agent']) # disable load images
if fetch.get('load_images'):
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) # set viewport
fetch_width = fetch.get('js_viewport_width')
fetch_height = fetch.get('js_viewport_height')
width = 1024 if fetch_width is None else fetch_width
height = 768 * 3 if fetch_height is None else fetch_height
options.add_argument('--window-size={width},{height}'.format(width=width, height=height)) # headless mode
options.add_argument('--headless')
InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001) @staticmethod
def get_web_driver(fetch):
if InitWebDriver._web_driver is None:
InitWebDriver._init_web_driver(fetch) return InitWebDriver._web_driver @staticmethod
def init_extra(fetch):
# maybe throw TimeOutException
driver = InitWebDriver._web_driver if fetch.get('timeout'):
driver.set_page_load_timeout(fetch.get('timeout'))
driver.set_script_timeout(fetch.get('timeout')) else:
driver.set_page_load_timeout(20)
driver.set_script_timeout(20) # # reset cookie
# cookie_str = fetch['headers']['Cookie']
# if fetch.get('headers') and cookie_str:
# # driver.delete_all_cookies()
# cookie_dict = dict()
# for item in cookie_str.split('; '):
# key = item.split('=')[0]
# value = item.split('=')[1]
# cookie_dict[key] = value
# # driver.add_cookie(cookie_dict) @staticmethod
def quit_web_driver():
if InitWebDriver._web_driver is not None:
InitWebDriver._web_driver.quit()if __name__ == '__main__':
app.run('0.0.0.0', 9000)
InitWebDriver.quit_web_driver()此实现参考pyspider源码：tornado_fetcher.py和phantomjs_fetcher.js。但是，实现的功能不全，只实现了我需要的功能。诸如：设置cookie, 执行js等并没有实现，您可以参考上面的实现，实现自己的需求。
让pyspider fetcher访问Headless Chrome Web Server
先启动chrome web server，直接运行：
python selenium_fetcher.py即可，端口为9000在启动pyspider时，指定
--phantomjs-proxy=http://localhost:9000参数，如：pyspider --phantomjs-proxy=http://localhost:9000。
作者：大道至简_Andy
链接：https://www.jianshu.com/p/8d955deac99b