Hadoop
Hadoop的基础架构
Hadoop基础架构
mapreduce编程模型:
yarn 资源管理器:
resourcemanager
applicationmaster
nodemanager
MapReduce 原理
分而治之~~
MapReduce
YARN:
负责整个集群的资源管理和调度
支持多种计算框架:离线批处理,内存计算,迭代计算等等
nodemanager:
1、管理单个节点的资源,向resourcemanager汇报
2、处理来自resourcemanager和applicationmanager的命令
applicationmanager:
1、为MR类型的程序申请资源并分配给内部任务
2、负责数据切分
3、监控任务的执行及容错
resourcemanager:
1、分配调度资源
2、启动并监控applicationmanager
3、监控nodemanager
MapReduce编程模型
MapReduce编程模型
NodeManager
ApplicationMaster
ResourceManager
Yarn的概念
MapReduce编程模型
YARN:
负责整个集群的资源管理和调度
支持多种计算框架:离线批处理,内存计算,迭代计算等等
YARN主从架构:
MapReduce programming model
Concepts of YARN
MapReduce简介
MapReduce是一种编程模型,是一种编程方法,是抽象的理论
YARN概念:资源管理器
ResourceManager:负责分配和调度资源;负责启动并监控ApplicationMaster;监控NodeManager
ApplicationManager:为MR类型的程序申请资源,并分配给内部任务;负责数据的切分;监控任务的执行及容错
NodeManager:管理单个节点的资源;处理来自ResourceManager的命令;处理来自ApplicationManager的命令
YARN是Hadoop2.0之后的资源管理器
1、ResourceManager:
1)分配和调度资源
2)启动并监控ApplicationMaster
3)监控NodeManager
2、ApplicationMaster:
1)为MapReduce类型的程序申请资源,并分配给内部任务
2)负责数据的切分
3)监控任务的执行及容错
3、NodeManager:
1)管理单个节点的资源
2)处理来自ResourceManager的命令
3)处理来自ApplicationMaster的命令
Map Reduce编程模型:
输入一个大文件,通过Split之后,将其分为多个分片
每个文件分片由单独的机器去处理,这就是Map方法
将各个机器计算的结果进行汇总并得到最终的结果,这就是Reduce方法
YARN是Hadoop2.0以后的资源管理器,负责整个集群的资源的管理和调度,所有的Map Reduce程序都需要通过它来进行调度。
YARN概念:
Resource Manager
分配和调度资源
启动并监控Application Master
监控Node Manager
Application Master
为MR类型的程序申请资源,并分配给内部任务
负责数据的切分
监控任务的执行及容错
Node Manager
管理单个节点的资源
处理来自Resource Manager的命令
处理来自Application Master的命令
YARN,Hadoop2.0之后的资源管理器,
ResourceManager, 分配和调度资源,启动并监控ApplicationMaster,监控NodeManager
ApplicationMaster
NodeManager
mapreduce编程模型
hadoop基础架构
yarn概念
resourcemanager
applicationmaster
nodemanager