数据分析项目如何进行版本控制

Question

一个数据分析项目如何有效的进行版本控制。

在哪些方面需要版本控制，哪些不需要版本控制。

数据分析项目中生成的图表该如何管理。

Answer 1

基本上我的方案是使用jupyter notebook。将一些中间结果（采用Pickle储存）和Pipeline使用的函数放在工具模块里面，然后通过Notebook的标号来显示版本，最后用git来做版本控制。比如：-- project   |__ data：存放原始数据、中间数据       |__ SQL：存放原始数据所需要的SQL       |__ pickle：存放原始数据、中间数据   |__ src：存放文档或者Notebook需要引用的图片资源   |__ notebooks：       |__ 0.0 contents and introduction.ipnb：介绍整个项目，以及建立与下面notebook链接。       |__ 1.0 方案一的EDA.ipnb       |__ 1.1 方案一.ipnb       |__ 1.2 方案一评估.ipnb       |__ 2.0 方案二的EDA.ipnb       |__ ...       |__ end.0 跨方案比较结果.ipnb   |__ temp_module：写一些要跨notebook引用的方法。   |__ README