手记

【学习打卡】第9天 清理数据重复值、缺失值、拆分

课程名称:人人都能学会数据分析

课程章节:更高效的数据处理与可视化绘图

课程内容:清理数据重复值、缺失值、拆分

课程收获

#全部显示行列数据: pd.set_option()

 显示所有列:pd.set_option('display.max_rows',None)


 显示所有行:pd.set_option('display.max_columns' , None)


 设置数据的显示长度,默认为50:pd.set_option('max_colwidth', 50)




#读取数据


 pd.read


提取需要的数据:usecols=【】


 eg: data=pd.read_csv('movie_data.csv,usecols=['average','genre','language','release-date','title','votes'])


# 查重 去重


 查重 :duplicate. 去重 drop_duplicate


eg : dupl_df=data.duplicate('title'), dupl_data=data.drop_duplicate('title)


验证去重是否成功,可用检查字符数的方法


print(len(dupl_df),' ', len(dupl_data))




#缺失值 np.nan


判断pd. isna(), 返回布尔值 true为缺失


填充缺失值 fillna(value=)


EX:  用均值填充:


dupl_data['average'].fillna(value=dupl_data['average'].mean())


#分列 str.split(',' , expand=True)


EX: dupl_data['release date'].str.split('(',expand=Ture))


下载视频          
1人推荐
随时随地看视频
慕课网APP