BeautifulSoup 不提取动态页面中的commet标签

我需要什么:计算Chrome 商店中所有语言的扩展程序下的评论数量。 我做了什么:尝试 BeautifulSoup 来提取某个标签。我研究了页面的 html 代码并找到了一个评论标签: 

http://img4.mukewang.com/61249a140001cb8705570204.jpg

试过这个代码:


    from bs4 import BeautifulSoup

    import requests

    page = requests.get(url)

    soup = BeautifulSoup(page.content, 'html5lib')

    comments = soup.find_all('div', class_ = 'ba-bc-Xb ba-ua-zl-Xb')

但print(comments)显示数组为空。

我现在被困住了,我发现我需要进一步处理两个问题:

  1. 如何处理选择语言按钮?如果默认情况下只选择一种语言,如何计算所有语言的评论。 

    http://img.mukewang.com/61249a2200016d4102420054.jpg

  2. 评论存储在不同的选项卡中。我读过动态提取它,但没有得到一点。

    http://img1.mukewang.com/61249a290001d65901730031.jpg


天涯尽头无女友
浏览 143回答 2
2回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python