数据诊断的目的：1、了解特征的分布，缺失和异常等情况  2、统计指标可直接用于数据预处理

数据诊断目的

数据诊断的目的

数据诊断的目的

1. 数据诊断的目的：

1) 了解特征的分布，缺失和异常等情况。（了解了这些情况我们才能更好地做特征工程和数据预处理）

2）统计指标可直接用于数据预处理

数据预处理就是指比如说特征缺失值的填充，缺失值的填充是建模常用的手段。填充的目的有很多。在填充的时候大家一般会采用很多种办法。比如填一个0，-1，1这种常值进去，但是更多的人可能会填一些统计值，比如说中位数、众数这样的值进去。如果要用这种方法填数的话，一般需要对特征值重新计算一遍，如果每次都计算的话，这样会影响整个模型的效率。更好的办法：就是可以从前面预处理的过程和结果中把中位数和众数取到，直接填到缺失里面去，这样可以减少运行计算时间，因为我们只需要提取，不需要计算，这样的话会减少耗时。除了这个以外，我们也有很多的判断，比如数缺失值的比例，众数的比例，也是形容特征工程的一个环节。当我们整个建模的流程形成之后，这些数据诊断的结果也可以起到判断的作用。

数据  诊断

了解特征分布，缺失和异常

统计指标可直接用于数据预处理

清洗数据，是必要之必要的，准备步骤要做好

1. 数据诊断的目的：

1) 了解特征的分布，缺失和异常等情况。（了解了这些情况我们才能更好地做特征工程和数据预处理）

2）统计指标可直接用于数据预处理

数据预处理就是指比如说特征缺失值的填充，缺失值的填充是建模常用的手段。填充的目的有很多。在填充的时候大家一般会采用很多种办法。比如填一个0，-1，1这种常值进去，但是更多的人可能会填一些统计值，比如说中位数、众数这样的值进去。如果要用这种方法填数的话，一般需要对特征值重新计算一遍，如果每次都计算的话，这样会影响整个模型的效率。更好的办法：就是可以从前面预处理的过程和结果中把中位数和众数取到，直接填到缺失里面去，这样可以减少运行计算时间，因为我们只需要提取，不需要计算，这样的话会减少耗时。除了这个以外，我们也有很多的判断，比如数缺失值的比例，众数的比例，也是形容特征工程的一个环节。当我们整个建模的流程形成之后，这些数据诊断的结果也可以起到判断的作用。

 数据诊断的目的

  1.了解特征的分布，缺失和异常等情况

  2.统计指标课直接用于数据与处理

先安装好python。numpy包。pandas包。scipy包