执行111111111过程

运行流程111111

MapReduce作业执行过程
tasktracker
2 .向jobtracker汇报任务状态
jobTracker
mapreduce体系结构,mapreduce和hdfs是同一datanode节点,最快找到数据,用移动计算代替移动数据。
TaskTracker任务
jobTracker任务
MapReduce
作业执行流程
mapreduce执行过程
两种容错机制:1.出错则重复执行4次 2.新建TaskTracker,最慢的将被关闭
MapReduce具体作业流程:
1.数据分片 2.JobTracker给TaskTracker分配map任务 3.中间结果(写入本地磁盘) 4.TaskTracker执行reduce任务 5.最终结果写回HDFS中
基础概念:
MapReduce产生错误后先重复执行四次
JobTracker是一个管理节点。
一个Job会被拆分成多个Task;
Task又分为MapTask和Reduce Task;
JobTracker的作用:
作业调度
分配任务、监控任务执行进度
监控TaskTracker的状态
TaskTracker的作用:
执行任务
mapreduce容错机制:
1、重复执行,因为job问题,硬件问题,数据问题等等一起任务异常,导致 重试,默认重复4次失败就会放弃执行
2、所有的map任务执行完成才继续执行reduce任务,如果某一个节点计算特别慢,就新起一个节点和这个慢节点做相同的计算任务,只要其中一个完成即可
1个job就是一个目标,完成目标需要分解成多个task
MapReduce作业执行过程
JobTracker的作用:
作业调度
分配任务、监控任务执行进度
监控TaskTracker的状态
TaskTracker的作用:
执行任务
汇报任务状态