加入/etc/crontab定时任务命令

hdfs查看清洗之后的数据命令

数据清洗脚本执行

vi /etc/crontab 在文件里面输入cron表达式可以定期执行命令

hadoop fs -cat 查看hdfs文件内容

grep "aa"  | wc -l 查看aa出现的次数

grep "aa"  |  head -10 查看aa出现的前10条记录

reduce任务完成在输出目录会生成_SUCCESS文件

date  +%Y-%m-%d  按格式输出日期

cecho $?   输出上一条命令执行的结果，0表是成功

注意日期参数

1. 定义各种变量 inputpath=

2. 删除输出目录

3. 执行清洗任务

4. 判断是否执行成功 hdfs dfs -ls ${output_path}/_SUCCESS

5. if ["$?" = "0"] //linux中判读上个命令是否执行成功

   then

   echo ”执行成功“

   执行下一个任务

shell脚本设置

任务定时脚本封装

1、把任务提交命令进行封装，方便使用，便于定时任务调度

2、脚本开发