为什么在搜索存在的类时不返回任何内容？

Question

我正在尝试从这里从html中获取“下一个更改ID”，并且我正在使用模块美丽汤4来执行此操作。下一个更改ID似乎在stats-overview类下，所以我尝试搜索它，它只是返回一个空列表。

import requests

from bs4 import BeautifulSoup

ninja = requests.get("https://poe.ninja/stats")

soup = BeautifulSoup(ninja.content, "html.parser")

stats_overview = soup.find_all("div", class_="stats-overview")

print(stats_overview) # --> prints '[]'

Answer 1

网站是通过 加载的，模块将无法动态呈现。JavaScriptrequestsJSfrom selenium import webdriverimport pandas as pdfrom selenium.webdriver.firefox.options import Optionsoptions = Options()options.add_argument('--headless')driver = webdriver.Firefox(options=options)driver.get("https://poe.ninja/stats")df = pd.read_html(driver.page_source)[0]df.to_csv("data.csv", index=False)driver.quit()输出：在线查看或者直接通过以下方式调用后端：APIimport pandas as pdimport requestsr = requests.get("https://poe.ninja/api/Data/GetStats")df = pd.read_json(r.text, orient="index")df.to_csv("data.csv", header=None)

Answer 2

如果你去标签，你会得到跟随，它以格式返回数据。NetworkAPIjsonhttps://poe.ninja/api/Data/GetStatsimport requestsr=requests.get("https://poe.ninja/api/Data/GetStats").json()print(r['next_change_id'])print(r['stash_tabs_processed'])print(r['api_bytes_downloaded'])print(r['character_bytes_downloaded'])print(r['ladder_bytes_downloaded'])print(r['pob_characters_calculated'])