5-1 项目场景介绍及分析
介绍
章节
问答
笔记
第1章 课程介绍
1-1 课程简介
第2章 认识Spark SQL
2-1 Spark SQL和Hive
2-2 Spark SQL运行原理
2-3 DataFrame、DataSet和RDD的联系
2-4 Parquet列式存储
第3章 DataFrame/DataSet常用操作
3-1 一般操作：查找和过滤
3-2 聚合操作：groupBy和agg
3-3 单表操作：列的增删改与空值处理
3-4 多表操作：join （1）
3-5 多表操作：join （2）
第4章 自定义函数和开窗函数
4-1 自定义函数：UDF
4-2 自定义聚合函数：UDAF
4-3 开窗函数：row_number()
第5章 Nginx访问日志分析完整实战
5-1 项目场景介绍及分析
5-2 第一次数据清洗：格式化原始日志数据
5-3 第二次数据清洗：解析数据并按天以Parquet格式存储
5-4 将分析结果批量写入MySql
5-5 性能监控及优化
第6章 课程总结
6-1 课程总结
