猿问
回到首页
个人中心
反馈问题
注册登录
下载APP
首页
课程
实战
体系课
手记
专栏
慕课教程
如何循环一个 div 并仅使用美丽汤和蟒蛇获取段落标记中的文本?
我正在使用美丽汤和python来抓取网页,并仅从网站中提取段落标签中的文本。
这是我想抓取的页面
我想要所有段落标签中的所有文本。
回首忆惘然
浏览 62
回答 1
1回答
慕沐林林
始终使用硒作为节省资源的最后手段。from selenium import webdriverurl = 'https://www.who.int/csr/disease/coronavirus_infections/faq_dec12/en/'driver = webdriver.Chrome()try: driver.get(url) div_text = driver.find_element_by_id('primary').text with open('website_content.txt','w') as f: f.write(div_text)except Exception as e: print(e)finally: if driver is not None: driver.close()你可以通过要求和美丽的汤来实现同样的事情,如下所示:import requests as rqfrom bs4 import BeautifulSoupresponse = rq.get(url)if response.status_code == 200: soup = BeautifulSoup(response.text,'html.parser') div_text = soup.find('div',{'id':'primary'}).text with open('website_content.txt','w') as f: f.write(div_text)
0
0
0
打开App,查看更多内容
随时随地看视频
慕课网APP
相关分类
Python
继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续