继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

慕的地10843
关注TA
已关注
手记 1081
粉丝 203
获赞 965

webp

1 YARN 产生背景

webp


webp


webp


webp


webp


webp

2  YARN 架构

webp


webp


webp

3 YARN 执行流程

webp


webp


1.client向yarn提交job,首先找ResourceManager分配资源,
2.ResourceManager开启一个Container,在Container中运行一个Application manager
3.Application manager找一台nodemanager启动Application master,计算任务所需的计算
4.Application master向Application manager(Yarn)申请运行任务所需的资源
5.Resource scheduler将资源封装发给Application master
6.Application master将获取到的资源分配给各个nodemanager
7.各个nodemanager得到任务和资源开始执行map task
8.map task执行结束后,开始执行reduce task
9.map task和 reduce task将执行结果反馈给Application master
10.Application master将任务执行的结果反馈pplication manager。

4 YARN 环境搭建

5 提交 PI 的 MapReduce 作业到 TARN 上执行

webp

             




作者:芥末无疆sss
链接:https://www.jianshu.com/p/f59165b9c049


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP