Haddop2.x在1.x基础上做了很多的改进，主要增加和改进了4个部分：HA，Federation，YARN，MapReduce On YARN
1. HA
Hadoop中的NameNode好比是人的心脏，绝对不可以停止工作。在Hadoop1.x时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是Hadoop1.x中的单点问题，也是Hadoop1.x不可靠的表现Hadoop2的出现解决了这个问题，也被称为HA。Hadoop2.x中HDFS的HA主要指的是可以同时启动2个NameNode。其中一个处于工作（Active）状态，另一个处于随时待命（Standby）状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。如图所示
这里写图片描述
HA主要有以下特点：
主备NameNode
解决单点故障
主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换
所有DataNode同时向两个NameNode汇报数据块信息
两种切换方式
基于Zookeeper自动切换方案
ZookeeperFailoverController：监控NameNode健康状态,并向Zookeeper注册NameNode
NameNode怪调后，ZKFC为NameNode竞争所，获得ZKFC所的NameNode变为active
2.Federation
单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈
为了解决这个问题,Hadoop 2.x提供了HDFS Federation, 示意图如下
这里写图片描述
Federation主要有以下特点：
通过多个NameNode/NameSpace把元数据的储存和管理分散到多个节点中，使到NameNode/NameSpace可以把通过增加机器来进行水平扩展
能把单个NameNode的负载分散到多个节点，在HDFS数据规模较大的时候不会也降低HDFS的性能。可以通过多个NameSpace来隔离不同类型的应用，把不同类型应用的HDFS元数据的储存和管理分派到不同的NameNode中
3.YARN
YARN：Yet Another Resource negotiator
Hadoop2.0新引入的资源管理系统，直接从MRv1演化而来的；
核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现
ResourceManager：负责整个集群的资源管理和调度
ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等
YARN的引入，使得多个计算框架可运行在一个集群中
每个应用程序对应一个ApplicationMaster
目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等
4.MapReduce On YARN
MapReduce On YARN：MRv2
MapReduce作业直接运行在YARN上，而不是由JobTracker和TaskTracker构建MRv1系统中
基本功能模块：
YARN：负责资源管理和调度
MRAppMaster：负责任务切分、任务迪奥五、任务监控和容错等
MapTask/ReduceTask：任务驱动引擎，与MRv1一直
每个MapReduce作业对应一个MRAppMaster
MRAppMaster任务调度
YARN将资源分配给MRAppMaster
MRAppMaster进一步将资源分配给内部任务
MRAppMaster容错
失败后，由YARN重新启动
任务失败后，MRAppMaster重新申请资源
作者：饥渴计科极客杰铿
链接：https://www.jianshu.com/p/ea3a0188d761
随时随地看视频
