如何在没有 Selenium 的情况下抓取隐藏元素?

我正在尝试在这个俄罗斯网站上制作我的小网页抓取脚本。这个脚本必须找到所有可用的医生。


在“Запись”选项卡中获取隐藏类时遇到了一些问题。经过一番研究,我找到了 Selenium 模块,这是我的代码:


url = 'https://samozapis-spb.ru/moskovskiy-rayon/ctomatologicheskaya-poliklinika-no12'


from time import sleep

from selenium.webdriver import Chrome

from selenium.webdriver.chrome.options import Options



opts = Options()

prefs = {"profile.managed_default_content_settings.images": 2}

opts.add_experimental_option("prefs", prefs)

browser = Chrome(options=opts)


browser.get(url)

elems = browser.find_elements_by_css_selector('tr')

print('running chrome')


while True:

    #print(browser.session_id)

    elem = browser.find_element_by_id('show_app')

    elem.click()


    sleep(5)


    elem = browser.find_element_by_css_selector("a[class='ax list-group-item']")

    elem.click()


    doctors = browser.find_elements_by_css_selector("a[class='ax list-group-item']")[2:]


    tallons = {}


    for doc in doctors:

        temp = doc.text.split('\n')

        if len(temp) == 2:

            tallons[temp[1]]=temp[0]

    print(tallons)


    browser.refresh()

    sleep(300)

这个脚本有效,但我不喜欢它打开浏览器窗口。


MM们
浏览 163回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python