【备战春招】第18天+短视频App视频内容爬取

模块名	描述
课程名称	移动端Python爬虫实战 数据抓取+数据可视化
课程章节	短视频App视频内容爬取
打卡知识进程	知识进程：18 / 21 ✔1.node.js初体验windows ✔2.commonjs-回顾ES6模块化 ✔3.commonjs的语法介绍 ✔4.commonjs和ES6 Module的区别 ✔5.Bug分类 ✔6.node.js和前端js的区别 ✔7.左关联 ✔8.聚合函数 ✔9.【案例】统计上班时间 ✔10.数据库的索引 ✔11.索引的分类 ✔12.查询数学成绩比语文成绩高的学生 ✔13.查询平均成绩大于80分的学生 ✔14.学生总成绩排序 ✔15.学过体育课学生的年龄 ✔16.查询学号大年龄小的学生 ✔17.整体回顾 ✔18.通过mitmproxy解析短视频App返回数据-接口分析
主讲老师	大壮老师
学习开始时间	2023.02.23 22:54
学习结束时间	2023.02.23 23:42
总计时	48 min
课程收获/主要内容/编程目标	怎么抓数据
学习感受/感想/领悟（心得）	我应该去工作。

1.这里建议在虚拟机里面搭建环境，在自己宿主机搭建你可能上不了网。
2.mitmproxy 可能使用pip install mitmproxy 装失败了，在pycharm里settings—>In…(解释器)—>左边加好—>搜索框输入mitmproxy，安装即可。
3.mitmproxy 部署参考 https://blog.51cto.com/u_15249893/5949941
将下方ip配置到手机的手动代理ip即可。

正文内容：
mitmproxy是一个开源的HTTP代理工具，可以截获HTTP(S)请求和响应，对其进行修改和分析，因此可以用来解析短视频App返回的数据。

以下是使用mitmproxy解析短视频App返回数据的步骤：

安装mitmproxy:
可以使用pip命令安装mitmproxy：

pip install mitmproxy

配置手机代理:
在手机的无线网络设置中，配置代理服务器为计算机的IP地址和mitmproxy的端口号（默认为8080）。

启动mitmproxy
在计算机上打开终端（Windows下为命令提示符或PowerShell），输入以下命令启动mitmproxy：

mitmproxy

打开短视频App
在手机上打开短视频App，mitmproxy会截获所有的请求和响应。

分析接口:
找到短视频App发送的请求，可以通过mitmproxy的界面查看请求和响应的详细信息，包括请求的URL、请求头、请求体、响应头和响应体。

通过分析响应体中的数据，可以了解短视频App的接口返回了哪些数据，以及如何解析这些数据。

如何抓取数据已解决。