我在 Python 中使用 Selenium 从 AngelList 中提取初创公司列表。为了收集所有初创公司,我必须单击页面末尾的“更多”按钮,直到到达列表末尾。
问题是我不知道如何一直点击直到它到达页面的末尾。
driver = webdriver.Chrome('C:\\Users\\Documents\\chromedriver.exe')
driver.get("https://angel.co/companies?company_types[]=Startup")
driver.find_element_by_class_name("""more""").click()
这会导致单击“更多”。每次点击都会加载 20 个以上的初创公司。
我已经尝试过这个以继续点击:
i = 0
while i < 20:
driver.find_element_by_class_name("""more""").click()
i += 1
并导致此错误:
selenium.common.exceptions.StaleElementReferenceException: Message: stale
element reference: element is not attached to the page document
任何帮助深表感谢。
相关分类