我正在尝试使用 Selenium 抓取客户端渲染的网页。
我首先创建一个虚拟环境并安装所需的依赖项。然后我下载了适用于我的 Chrome 版本的 Chrome 驱动程序并将其粘贴到项目的文件夹中。
import os
import time
from bs4 import BeautifulSoup
from selenium import webdriver
driver_path = os.path.abspath('') + '/chromedriver'
driver = webdriver.Chrome(executable_path = driver_path)
print(' > Getting web page...')
url = 'https://www.someurl.com'
driver.get(url)
print(' > Sleeping...')
time.sleep(10)
print(' > Done. Html below:')
page_html = driver.page_source
print(page_source)
浏览器打开并加载页面。但程序醒来后我得到了NameError: name 'page_source' is not defined。关于我可能做错了什么的任何线索吗?
让我担心的一件事是我使用的是 64 位 Windows,但 Chrome 网页上唯一可用的驱动程序是 32 位。无论如何,这似乎不是问题,因为浏览器和页面都由脚本正确呈现。
天涯尽头无女友
相关分类