继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

APP爬虫采集方案思路

亿牛云爬虫专家
关注TA
已关注
手记 20
粉丝 1
获赞 3

APP爬虫和网页爬虫都是属于一种类型,APP的数据接口需要抓包解析,基本上都会采用HTTPS发送数据,和网页爬虫基本上不一样。

如何抓包:

使用Fiddler抓包工具,用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据,才可以抓包。

APP数据采集常见方案:抓包、HOOK技术

抓包:大多数APP软件,都是公开数据,没有任何隐私。只需要通过webservice通讯协议的方式,对APP接口分析检测,模拟用户向APP发出POST或者GET请求,就能返回相关数据。

HOOK技术:可以通过修改HOOK内核,自动控制APP,获取APP数据。

APP数据分析:

APP数据都可以采集,通过抓包工具抓包,获取app源码,就要对app进行反编译,进行证书认证发出HTTPS加密协议即可。

APP逆向环境配置:

Apktool:获取资源文件和smail代码

dex2jar:将dex文件转换成jar文件

JD-GUI:查看到反编译后的dex的代码

http://img1.mukewang.com/5f6b16f00001e35407810295.jpg

http://img.mukewang.com/5f6b170a0001d59110380345.jpg

http://img2.mukewang.com/5f6b17120001c40803080473.jpg


获取app源码,就要对app进行反编译,解析使用工具采集数据


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP