问答详情
源自:-

关于拉勾改版无法爬取数据问题如何解决?

老师我大概在20年左右,根据老师的课程把整个框架搭起来了,相关的数据也爬取到了

但是在最近我需要重新分析一些岗位的时候发现,拉勾改变了页面的规则,目前发现的问题有:

  1. 使用爬虫请求页面时,返回的html为【加载中。。。】的一个等待页面,不包含任何有价值的数据

  2. 使用selenium框架,也仍然获取不到数据接口的源码

  3. 调试页面发现,拉勾目前所有的数据接口,返回的json数据都是进行过加密的

由于需要用这个项目的网页做一些展示,不知老师上述问题是否有解决方案?

如果有,麻烦老师告知一下,如果此问题暂时未能解决,老师可否给一份往期的历史数据?希望能够顺利访问页面的数据就行

提问者:Pertty宅特闷 2022-07-15 15:10

个回答