问大家一个python爬虫和大数据的问题

我的毕业设计是做一个爬取豆瓣网站的系统,我的同学的毕业设计是大数据方面的题目。我们的毕设老师要求我用爬虫爬完数据后存储,然后做一个接口把数据传给同学(数据从我的电脑传到他的电脑上),他再用他搭建的平台处理数据再展示出来。现在我的爬虫系统做好了,他的平台也搭建好了。请问这之间传数据的接口怎么设计,要掌握哪些知识

ibeautiful
浏览 980回答 2
2回答

江户川乱折腾

接口数据格式根据对方平台的需求,就跟写app的接口差不多,给个json数据

慕虎7371278

我跟同事也做过这样的配合,我这边爬完数据后直接把数据存到mysql,他那边直接查数据就好,存数据库的表结构什么的是我们事先商量好的。
打开App,查看更多内容
随时随地看视频慕课网APP