为什么用Beautifulsoup无法提取微博粉丝列表的page数

用python写小脚本想爬取新浪科技的粉丝http://weibo.com/1642634100/fans,先要获得粉丝页数,用chrome看到的html结构如下:

https://img2.mukewang.com/5bd955c200010a3607790547.jpg

https://img1.mukewang.com/5bd955cc00011f5c09180348.jpg

写的脚本如下,获得的list为空

def getFansPage(urlfans):
    req = urllib2.Request(urlfans, headers=headers)
    time.sleep(sletime)
    html_sample = exceptRequest(req).read()
    # 分析得到pagenum所在属性
    soup = BeautifulSoup(html_sample,'html.parser')
    pagenum = soup.find_all("a",class_="page prev S_txt1 S_line1 page_dis")    return pagenum

后来发现这样连都是空的:

pagenum = soup.find_all("a",class_="WB_frame")

这是为什么呢?


慕无忌1623718
浏览 736回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

JavaScript