网页搜罗:请求不返回网页的完整内容

我正在编写一个网站抓取工具,可以从网站内的表格中保存所有加密货币名称。我编写了一个脚本来获取网页的响应,然后使用该BeautifulSoup库将响应解析为HTML对象。问题是响应没有返回网页的完整内容。它显示表中特定位置的数据,并跳过表上方的数据。


当我尝试调试代码时,响应对象包含网页中的所有数据,但是当我尝试打印数据时,它只显示页面中某个点的数据。


这是代码:


import requests

from bs4 import BeautifulSoup


response = requests.get("https://coinmarketcap.com/all/views/all", headers={'User-Agent': 'Mozilla/5.0'})

print(response.text)


soup = BeautifulSoup(response.text, 'html.parser')


results = soup.find_all('table', attrs={'id': 'currencies-all'})

如果有人能告诉我我做错了什么,那将非常有帮助,因为我无法找出问题所在。


收到一只叮咚
浏览 143回答 2
2回答

Smart猫小萌

您是否可能达到 IDE 控制台的缓冲区限制?在Spyder上,默认值为500行,结果将仅看到500行源代码。尝试增加此限制,看看是否能解决您的问题。在 Spyder(Windows)上,它是 Tools > Preferences > IPython Console > Buffer(在底部)。我将缓冲区增加到 4000,但仍然不足以容纳整个页面,但确实显示了更多行。
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python