史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

1 YARN 产生背景

2  YARN 架构

3 YARN 执行流程

1.client向yarn提交job，首先找ResourceManager分配资源，
2.ResourceManager开启一个Container,在Container中运行一个Application manager
3.Application manager找一台nodemanager启动Application master，计算任务所需的计算
4.Application master向Application manager（Yarn）申请运行任务所需的资源
5.Resource scheduler将资源封装发给Application master
6.Application master将获取到的资源分配给各个nodemanager
7.各个nodemanager得到任务和资源开始执行map task
8.map task执行结束后，开始执行reduce task
9.map task和 reduce task将执行结果反馈给Application master
10.Application master将任务执行的结果反馈pplication manager。

4 YARN 环境搭建

• 官方文档指南
  http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html
  

  

  
  

  

  
  

  

  
  

  

  
  验证
  

  

  
  

  

5 提交 PI 的 MapReduce 作业到 TARN 上执行

 

作者：芥末无疆sss
链接：https://www.jianshu.com/p/f59165b9c049
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。