BeautifulSoup 从 Indeed 中提取数据的问题

我正在尝试从 Indeed 网站提取每个帖子的职位描述,但结果不是我所期望的!


我写了一个代码来获取工作描述。我正在使用 python 2.7 和最新的 beautifulsoup。当您打开页面并点击每个职位时,您会在屏幕右侧看到相关信息。我需要为此页面上的每个工作提取这些工作描述。我的代码:


import sys


import urllib2 


from BeautifulSoup import BeautifulSoup


url = "https://www.indeed.com/jobs?q=construction%20manager&l=Houston%2C%20TX&vjk=8000b2656aae5c08"


html = urllib2.urlopen(url).read()


soup = BeautifulSoup(html)


N = soup.findAll("div", {"id" : "vjs-desc"})


print N

我希望看到结果,但结果却是 []。是不是因为 Id 是非唯一的。如果是这样,我应该如何编辑代码?


噜噜哒
浏览 182回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python