爬前叨叨
2019年开始了，今年计划写一整年的博客呢~，第一篇博客写一下 一个外包网站的爬虫，万一你从这个外包网站弄点外快呢，呵呵哒
数据分析
官方网址为 https://www.clouderwork.com/
进入全部项目列表页面，很容易分辨出来项目的分页方式
get异步请求
Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope= Request Method:GET Status Code:200 OK
参数如下
ts:1546395904852 # 时间戳 keyword: # 搜索关键字，查找全部，使用空即可 budget_range: # 暂时无用 work_status: pagesize:20 # 每页数据量 pagenum:3 # 页码 sort:1 # 排序规则 scope:
下面就是拼接请求了，确定一下 request 相关参数
Accept:application/json, text/javascript, */*; q=0.01Accept-Encoding:gzip, deflate, brAccept-Language:zh-CN,zh;q=0.9Connection:keep-aliveCookie:Host:www.clouderwork.comReferer:https://www.clouderwork.com/jobs?keyword=User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400X-Requested-With:XMLHttpRequest
爬虫采用scrapy
这个网站没有反爬措施，所以直接上就可以了
# -*- coding: utf-8 -*-import scrapyfrom scrapy import Requestimport timeimport jsonclass CloudeworkSpider(scrapy.Spider):
name = 'cloudework'
allowed_domains = ['www.clouderwork.com']
start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='
def start_requests(self):
for page in range(1,353): yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page)) def parse(self, response):
json_data = json.loads(response.text) for item in json_data["jobs"]: yield item数据存储到 mongodb中，合计爬取到 7000+ 数据
数据分析
从mongdo读取数据
import pymongoimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号# 连接数据库client = pymongo.MongoClient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]# 加载数据data = DataFrame(list(collection.find()))结果显示为 [7032 rows x 35 columns]
查看数据基本情况
直接使用data.shape 可以查看一下数据的基本情况
查看一下工期的分布
periods = data.groupby(["period"]).size()
x = periods.index
y = periods.values
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 绘制图表plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("项目数")
plt.show()可以看到数据散点集中在0~50天
过滤一下40天以内的数据
periods = data.groupby(["period"]).size().reset_index(name="count")
df = periods[periods["period"]<=40]
x = df["period"]
y = df["count"]
plt.figure()
plt.scatter(x,y,label='项目数折线',color="#ff44cc")
plt.title("工期对应项目数")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()发现竟然有1天工期的任务，可以瞅瞅都是什么任务
periods = data.groupby(["period"]).size() data[data["period"]==1][["name","period"]]
果然比较简单唉~~不过也没有多少钱，有个急活，1000￥
查看阅览量Top10
views = data["views_count"] top10 = views.sort_values(ascending=False)[:10] top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]] top10
查阅一下开发模式
看一下什么类型的项目比较多？？？数据上反应，Web网站和APP最多了，所以这方面的技能的大神么，可以冲一波了
作者：梦想橡皮擦