storm作业提交运行流程
1.用户编写storm Topolgy(wordCountTopology) 一个用户作业
2.使用client提交Topolgy给nimbus
3.nimbus提派Task给supervisor
4.supervisor为task启动worker
5.worker执行task
--------------------------
storm采用主从结构,主Nimbus和多个从Supervisor,Nimbus只负责管理性的工作单点问题必须保证主节点是无状态的,重启就能恢复,相关元数据配置信息都是存储在zookeeper上。Supervisor主要听Nimbus的话管理启动和监控worker, worker是真正干活的进程负责数据传输和计算.
-------------------------------
Storm 主从结构
Nimbus 主节点,只负责整体分配工作,不具体干活
Supervisor 从节点,维护每台机器,直接管理干活的Worker
Worker 真正干活的(task)进程,数据计算和传输
DRPC
Storm UI 监控WEB
运行流程
用户编写作业
使用客户端提交给Nimbus
Nimbus指派Task给Supervisor
Supervisor 为task启动Worker
Worker 执行Task
storm走也提交运行流程
Storm主从结构
Storm作业提交运行流程
Heron改进
Worker
Supervisor 从
Nimbus 主
主要的状态存储在分布式协调服务zookeeper上,内存中的数据可以丢失,只要运算节点无故障则可以正常数据处理
主从结构 VS 对称结构
Strom主从结构
Strorm作业提交运行流程
Worker的特点
Supervisor
Nimbus的特点
主从结构和对称结构的区别
Strom有哪些基本组件?
Strom用户作业如何运行起来的?
-Strom主从结构
Strom的执行流程:
①、用户编写Strom Topolgy
②、使用Client提交Topolgy给Nimbus
③、Nimbus指派Task给Supervisor
④、Supervisor为Task启动Worker
⑤、Worker执行Task
storm的主从结构