继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)

IT人故事会
关注TA
已关注
手记 399
粉丝 1.7万
获赞 1318

之前说了安卓模拟器使用和抓包工具的使用,之前其实就是在磨刀,俗话说的好磨刀不误砍柴工,下一步就是数据的抓取。

准备工作

  • 启动fiddler

本机ip 192.168.1.122

  • 夜神模拟器设置

桥接

wifi设置

刚才windows系统查询出来的ip

  • app安装(XX美食)

找个比较容易抓取的开始上手吧,在夜神模拟器市场中搜:豆果,下载图片中的app

抓取目标

点击图片中的分类

  • 分析app的数据

正常的app,请求的连接都是域名的方式,并且跟自己的app的名称相关。
例如:豆果美食,app的请求连接也都是有dougou。

进入fiddler里面,ctrl+f,输入dougou

找到一个请求,发现返回是Unicode编码,需要进行一些解码

复制返回结果Unicode编码到json.cn查看

分类发现跟app一致,任何app想进行动态的开发,都是通过请求获取的。

查看详情

下拉类别下牛肉的发现一个规律,原来每页15条,哈哈url里面有规律

PS:本次通过fiddler监控和发现app请求的规则。下次开始写python脚本进行爬取数据。

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP