问大家一个python爬虫和大数据的问题

Question

我的毕业设计是做一个爬取豆瓣网站的系统，我的同学的毕业设计是大数据方面的题目。我们的毕设老师要求我用爬虫爬完数据后存储，然后做一个接口把数据传给同学（数据从我的电脑传到他的电脑上），他再用他搭建的平台处理数据再展示出来。现在我的爬虫系统做好了，他的平台也搭建好了。请问这之间传数据的接口怎么设计，要掌握哪些知识

Answer 1

接口数据格式根据对方平台的需求，就跟写app的接口差不多，给个json数据

Answer 2

你的爬虫是winform项目吧。可以再做一个web项目，你同学需要什么接口，你就写个相应web api接口传json格式数据给他。如果你想做在爬虫winform项目里，你这边可以写一个socket服务端，你同学那边写个socket客户端来请求数据。不过不推荐把服务端写在winform里，推荐用刚才说的web api，其次推荐webservice等。

Answer 3

我跟同事也做过这样的配合，我这边爬完数据后直接把数据存到mysql,他那边直接查数据就好，存数据库的表结构什么的是我们事先商量好的。