猿问

使用 Python,如何从 Google 搜索中抓取链接的描述性文本?

在python3中,我有这个脚本来抓取谷歌搜索的第一个屏幕:


from bs4 import BeautifulSoup

from selenium import webdriver

from selenium.common.exceptions import NoAlertPresentException

from selenium.webdriver.support.select import Select


nome = '"ALDEANNO CAMPOS"'

nome = nome.replace(' ', '+')

cargo = 'DEPUTADO FEDERAL'


busca = f'https://www.google.com.br/search?q={nome}+{cargo}+ditadura'


profile = webdriver.FirefoxProfile()

browser = webdriver.Firefox(profile)


browser.get(busca)


html = browser.page_source

soup = BeautifulSoup(html, "html.parser")

browser.close()


page = soup.find_all("div", {"class": "rc"})


for link in page:

    href = link.find("a")['href']

    texto = link.find("a").text

    print(href)

    print(texto)

    print("---------------")

该程序显示或捕获 href 链接和链接的描述性文本,即页面名称。但我也想提取谷歌搜索链接下方的短语


例如,在这个页面上(https://www.google.com/search?client=ubuntu&channel=fs&ei=DrSNW8r3E4urwgS977WYDA&q=ALDEANNO+CAMPOS+deputado+federal+ditadura&oq=ALDEANNO+CAMPOS+deputado+federal+ditadburyg .12...0.0.0.1933260.0.0.0.0.0.0.0.0..0.0....0...1c..64.psy-ab..0.0.0....0.U9iFnwXwzpk ) 文本:


“2018 年 8 月 24 日 - Perfil completo do candidato ao cargo de Deputado Federal Aldeanno Campos que concorre pelo PRP nas Eleições 2018 no Pará。”


“Relacionamos a seguir os senadores e deputados federais brasileiros cassados conforme as .... Epilogo de Campos · Costa Rego · Recife, PE, PTB-PE (1962) ...”


“Francisco Luís da Silva Campos (Dores do Indaiá, 18 de novembro de 1891 — Belo Horizonte, ... Em 1921 Francisco Campos foi eleito deputado Federal pelo PRM, estreando na ... Armadas, dos preparativos que levariam do Estadovod , instalada por um golpe de estado decretado em novembro de 1937。”

请问,有谁知道我如何捕获链接下方的最终文本?


名称为“CORONEL FERES”的示例 - 打印(链接)-(无法显示 html 代码)


PSL Itapema - 帖子 | Facebookhttps://www.facebook.com/PSLitapema17/posts/1638801189535968General Mourão apoia o pré-cadidato a Deputado Federal Coronel Feres。Confira: 37 Views .... Há uma ditadura silenciosa que não podemos permitir。邦迪亚!


梦里花落0921
浏览 127回答 1
1回答
随时随地看视频慕课网APP

相关分类

Python
我要回答