爬虫
抓包一下,你就知道
本次要爬取的是新浪财经《中国年轻人正带领国家走向危机?》评论区的全部评论,那么首先点开文章,拉到评论区,点击“查看全部XXXX条评论”:
在新的页面处,点击“点击加载更多”就可以一直加载出评论数据:
接着在页面处鼠标右键后选“审查元素”,按照下图(一般新窗口出现在下方,这里为了挡后面的广告,移到了右边)的顺序,点击 "network" >> 点"All" >> 多次点击加载评论>>观察4中重复加载的内容,并结合5中“previw”,确定下前者就是爬虫入口的 url,后者就是加载出的评论数据:
以上是网页端抓包的一般流程,接下来看看5边上“headers”里的Request URL:http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=2&page_size=20&jsvar=loader_1534257224948_43840486
对比下多次加载评论后其他的 Request URL,可以看出变化的参数仅为page=2
和jsvar=loader_1534257224948_43840486
。
前者 page
就是加载的页数,用总评论数除以每次加载的20条,算下即可。后者 jsvar
初看起来像是随机数,但有些经验的应该能猜到是时间戳,结合参数里的 loader
猜想是评论开始加载的13位时间戳与结束时间戳的后8位:
其实前一个项目当你点开这首《八月》的歌:9400余条评论的分析与挖掘 里就遇到了13位时间戳的问题,因为以前碰到的都是10位的,所以也注意了下。
import time commentTime = 1534257224948 # 13 位,一般是 10 位print(commentTime) print(int(time.time())) print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(commentTime/1000)))
将参数里的数字转换成正常的时间格式后,能看到与当下加载评论的时刻相近,就可以确认上述判断无误;而后面8位的时间戳采用随机构造即可。
接下来,开始爬取所有评论前,测试下爬虫能否正常获取数据,打印一两页看看:
import requestsimport time# jsvar=loader_1533711754393_51961031for page in range(0,150): start = int(time.time()*1000) end_stamp = start + random.randint(100,1000) # 随机构造时间间隔,并加到起始时间戳上 end = str(end_stamp)[-8:] url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end) r = requests.get(url).text print(r) break
构造 url,并用 requests 库发送 get 请求,发现不用带其它参数,就能拿到数据,异常轻松。注意:这里的数据也就是上文标记为5的“previews”里的内容。
这里截取掉前34个字符,拿到干净的字典样格式的字符串,方便后续操作和提取数据:var loader_1533713810791_51961031='{ "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}'
然后重新发送请求,提取并打印部分评论数据:
import timeimport requestsimport jsonfor page in range(0,150): start = int(time.time()*1000) end_stamp = start + random.randint(100,1000) end = str(end_stamp)[-8:] url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end) r = requests.get(url).text json_dict = json.loads(r[34:]) cmntlist = json_dict['result']["cmntlist"] for num,cmnt in enumerate(cmntlist): print(num, cmnt['nick'],cmnt['area'], cmnt['time'], cmnt['content']) break
罗列下前3条的输出:
0 用户957zwswd 2018-08-08 14:21:26 这是什么沙雕 浙江嘉兴
1 尾尾 2018-08-08 14:21:25 有啊,税制改革了,有学生、老人的家庭有税收优惠,也就意味着,单身要交更多的税了。 宁夏银川
2 可乐味的我想和你天下第一好 2018-08-08 14:21:24 那叫探索,叫探索时的必经之路[作揖] 河南洛阳
爬虫走你~
经过上述探索,确认能获取到数据后,就可以开爬了,代码不难,新手朋友可以试着自己完成:
%% time # 计算耗时import requestsimport timeimport randomimport jsonimport pandas as pd comments = pd.DataFrame(columns = ['page','jsons','cmntlist','replydict']) start_page = 0 # 修改起始页数(初始值为 0)和 csv 文件名,方便爬虫中断后,继续爬取,之后再将几个 csv 数据整合到一起即可 # 断点续爬# http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=3&page_size=20&jsvar=loader_1533711754393_51961031# jsvar=loader_1533711754393_51961031try: # 手动设置需要爬取的总页数,评论数若有3000条,那每页20条,就设为150,当然一般在爬取时也可能有新增的评论,所以设大些更好。 for page in range(start_page,200): # 截止20180808 16点 # 3,037条评论|18,714人参与 # 截止20180810 8点 # 3,723条评论|30,235人参与 start = int(time.time()*1000) end_stamp = start + random.randint(100,1000) end = str(end_stamp)[-8:] # # jsvar=loader_1533711754393_51961031 url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end) content = requests.get(url).text jsons = json.loads(content[34:]) # var loader_1533713810791_51961031= { "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…} cmntlist = jsons['result']["cmntlist"] replydict = jsons['result']["replydict"] # jsons 里有几乎所有数据,方便后续爬虫结束也能本地进行提取 # 不过本次主要对 jsons 里的 cmntlist 和 replydict 感兴趣,所以也先提取了 comments = comments.append({'page':page+1,'jsons':jsons,'cmntlist':cmntlist,'replydict':replydict},ignore_index=True) for num,cmnt in enumerate(cmntlist): print(page*20+num+1, page+1, cmnt['nick'], cmnt['time'], cmnt['content'], cmnt['area']) if page%5==0: time.sleep(random.randint(0,2)) # 每5页随机停0-2秒,作为简单的防反爬的一步except: print("Error") comments.to_csv('Sina_Finance_Comments_1_20180810.csv',index=False,encoding='utf-8')
小结
爬取到数据后,就可以“为所欲为”的进行花式分析了(好吧,其实还需要进一步处理下)。大家可以读取数据,看看每行每列的格式是什么样的。
df = pd.read_csv('Sina_Finance_Comments_1_20180810.csv',encoding='utf-8') df.head()
作者:古柳_Deserts_X
链接:https://www.jianshu.com/p/bd41dc17e17a