猿问

如何使用Python检索动态html内容的值

我正在使用Python 3,并且正在尝试从网站检索数据。但是,此数据是动态加载的,我现在拥有的代码不起作用:


url = eveCentralBaseURL + str(mineral)

print("URL : %s" % url);


response = request.urlopen(url)

data = str(response.read(10000))


data = data.replace("\\n", "\n")

print(data)

在尝试查找特定值的地方,我找到的是模板,例如“ {{formatPrice平均数}}”而不是“ 4.48”。


我该如何做才能检索值而不是占位符文本?


编辑:这是我要从中提取信息的特定页面。我正在尝试获取“中位数”值,该值使用模板{{formatPrice平均数}}


编辑2:我已经安装并设置了程序以使用Selenium和BeautifulSoup。


我现在拥有的代码是:


from bs4 import BeautifulSoup

from selenium import webdriver


#...


driver = webdriver.Firefox()

driver.get(url)


html = driver.page_source

soup = BeautifulSoup(html)


print "Finding..."


for tag in soup.find_all('formatPrice median'):

    print tag.text

这是程序执行时的屏幕截图。不幸的是,它似乎找不到指定“ formatPrice average”的任何内容


慕雪6442864
浏览 697回答 2
2回答
随时随地看视频慕课网APP
我要回答