APP爬虫和网页爬虫都是属于一种类型,APP的数据接口需要抓包解析,基本上都会采用HTTPS发送数据,和网页爬虫基本上不一样。
如何抓包:
使用Fiddler抓包工具,用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据,才可以抓包。
APP数据采集常见方案:抓包、HOOK技术
抓包:大多数APP软件,都是公开数据,没有任何隐私。只需要通过webservice通讯协议的方式,对APP接口分析检测,模拟用户向APP发出POST或者GET请求,就能返回相关数据。
HOOK技术:可以通过修改HOOK内核,自动控制APP,获取APP数据。
APP数据分析:
APP数据都可以采集,通过抓包工具抓包,获取app源码,就要对app进行反编译,进行证书认证发出HTTPS加密协议即可。
APP逆向环境配置:
Apktool:获取资源文件和smail代码
dex2jar:将dex文件转换成jar文件
JD-GUI:查看到反编译后的dex的代码
获取app源码,就要对app进行反编译,解析使用工具采集数据