通过猎聘的招聘信息找出学习线路规划-原创手记-慕课网

文章首发于微信公众号：Python绿洲。如需转载，请联系该公众号

前言

之前发过一篇文章《 Python or Java？Boss直聘告诉你该如何选择》, 主要是这两种语言方向在应聘岗位上的比较，没有涉及具体的岗位要求的分析。前两天，刚好看到网上的一些学习路线图，又对比了招聘网站上的要求，发现这两者其实差不多。

所以就用爬虫爬取了猎聘网上的岗位信息，对这些招聘信息进行处理，从中找出需要掌握的一些语言和工具，从而有目的地进行学习，更快的提高自己的能力，让自己不再因为不知道学习的线路而烦恼，也能够符合招聘的要求。

查看网页

index
detail
从这个岗位职责中，可以看出需要掌握的工具或语言绝大多数都是以英文为主。所以主要提取英文就行了。至于其他的信息就不进行提取了

流程

爬取搜索到的岗位链接
进一步爬取详细的岗位要求
提取其中英文单词
pyecharts展示

爬取招聘岗位

使用beautifulsoup进行解析,主要将岗位名称，详细链接，公司，薪资，位置和学历要求这几个信息存到MongoDB中就好。

def getLink(seachname, pagenum):
    for i in range(pagenum):
        url = "https://www.liepin.com/zhaopin/?init=-1&key={}&curPage={}".format(
            seachname, i)
        web_data = requests.get(url=url, headers=header)
        soup = BeautifulSoup(web_data.content, 'lxml')
        job_list = soup.select(".sojob-list > li")
        for item in job_list:
            name = item.select(".job-info > h3")[0]['title']
            link = item.select(".job-info > h3 > a")[0]['href']
            company = item.select(".company-name > a")[0].text
            salary = item.select(".text-warning")[0].text
            location = item.select(".area")[0].text
            education = item.select(".edu")[0].text
            data = {
                "title": name,
                "link": link,
                "company": company,
                "salary": salary,
                "location": location,
                "education": education,
            }
            pywork.insert(data) #使用MongoDB存储

详细岗位要求

由于任职要求中有<br>标签，需要将其切除，而且由于使用beautifulsoup解析，所以<br>是tag对象，需要创建对象再删除。被这个问题困住了好久。
之后将所有爬取到的岗位要求都写到一个文件中，方便后期使用jieba切分

def getInfo(url, demands_text):
    web_data = requests.get(url, headers=header)
    soup = BeautifulSoup(web_data.content, 'lxml')
    try:
        demands = soup.select(".content-word")[0].contents
        demands = sorted(set(demands), key=demands.index)
        # 删除<br/>
        delete_str = "<br/>"
        br_tag = BeautifulSoup(delete_str, "lxml").br
        demands.remove(br_tag)
        # 拼接所有要求
        for item in demands:
            demands_text += item.replace("\r", "")
        #写入文件
        f = open('demands.txt', mode='a+', encoding='UTF-8')
        f.write(demands_text + "\n")
        f.close()
    except:
        logging.log("warning...")

分词

使用jieba分词之后，还需要将一些单词例如：or，pc等上删除，本着“宁可错杀一千,不可放过一个”的原则，所以将少于1个字母的单词使用正则去掉

def CutWordByJieBa(txt, seachname):
    seg_list = jieba.cut(txt, cut_all=True)
    w1 = "/ ".join(seg_list)  # 全模式
    fil = re.findall('[a-zA-Z]{1,}/', w1) # 提取英文
    strl = ""
    for i in fil:
        strl += i
    strl = strl.lower() # 全部转换为小写