我已经用 Python 编写了一个与 selenium 相关的脚本,以不断单击MORE
按钮以加载更多项目,直到没有新项目可以从网页加载为止。但是,我的以下脚本可以单击MORE
该页面底部可用的按钮一次。
到目前为止,这是我的尝试:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
link = "https://angel.co/companies?company_types[]=Startup&company_types[]=Private+Company&company_types[]=Mobile+App&locations[]=1688-United+States"
driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)
driver.get(link)
while True:
for elems in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,".results .name a.startup-link"))):
print(elems.get_attribute("href"))
try:
loadmore = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR,"[class='more']")))
driver.execute_script("arguments[0].scrollIntoView();", loadmore)
loadmore.click()
except Exception:break
driver.quit()
我怎么能一直点击那个MORE按钮,直到没有这样的按钮可以点击和解析链接,因为我已经尝试过使用for loop.
相关分类