猿问

Python 网页抓取多个页面

我正在从韦氏网站上抓取所有文字。

我想抓取从 az 开始的所有页面以及其中的所有页面并将它们保存到文本文件中。我遇到的问题是我只得到表的第一个结果而不是全部结果。我知道这是大量文本(大约 500k),但我这样做是为了自我教育。

代码:

import requests

from bs4 import BeautifulSoup as bs


URL = 'https://www.merriam-webster.com/browse/dictionary/a/'


page = 1

# for page in range(1, 75):


req = requests.get(URL + str(page))

soup = bs(req.text, 'html.parser')

containers = soup.find('div', attrs={'class', 'entries'})

table = containers.find_all('ul')


for entries in table:

    links = entries.find_all('a')

    name = links[0].text

    print(name)

现在我想要的是从该表中获取所有条目,但我只获取第一个条目。


我有点被困在这里所以任何帮助将不胜感激。谢谢


https://www.merriam-webster.com/browse/medical/a-z

https://www.merriam-webster.com/browse/legal/a-z

https://www.merriam-webster.com/browse/dictionary/a-z

https://www.merriam-webster.com/browse/thesaurus/a-z


千巷猫影
浏览 99回答 1
1回答
随时随地看视频慕课网APP

相关分类

Python
我要回答