我正在从韦氏网站上抓取所有文字。
我想抓取从 az 开始的所有页面以及其中的所有页面并将它们保存到文本文件中。我遇到的问题是我只得到表的第一个结果而不是全部结果。我知道这是大量文本(大约 500k),但我这样做是为了自我教育。
代码:
import requests
from bs4 import BeautifulSoup as bs
URL = 'https://www.merriam-webster.com/browse/dictionary/a/'
page = 1
# for page in range(1, 75):
req = requests.get(URL + str(page))
soup = bs(req.text, 'html.parser')
containers = soup.find('div', attrs={'class', 'entries'})
table = containers.find_all('ul')
for entries in table:
links = entries.find_all('a')
name = links[0].text
print(name)
现在我想要的是从该表中获取所有条目,但我只获取第一个条目。
我有点被困在这里所以任何帮助将不胜感激。谢谢
https://www.merriam-webster.com/browse/medical/a-z
https://www.merriam-webster.com/browse/legal/a-z
https://www.merriam-webster.com/browse/dictionary/a-z
https://www.merriam-webster.com/browse/thesaurus/a-z
相关分类