用Python抓取JavaScript呈现的网站的“脚本部分”

Question

我正在制作一个项目，希望了解Reddit上各种subreddit上用户的平均业障。因此，我正在抓取用户业障，这在新的Reddit结构中被证明有些困难。

我无法使用PRAW，因为那里的业障数字不正确。

根据用户的页面来源，我需要找到以下两个变量：commentKarma和postKarma。这两个变量都在“”部分下找到，请参见以下示例。view-source：https : //www.reddit.com/user/loganb3171。但是，当我使用硒page_source或beautifulsoup时，它们不显示。

我已经在这个问题上工作了几个小时，但距离它还很遥远。

任何和所有帮助，不胜感激。

这些片段中的任何一个都不能像右键单击“查看页面源代码”时得到的那样为您提供整个页面源代码

source_var = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")
source_var=driver.page_source