Storm 主从架构
storm组件
storm原理
架构类型:
主从架构:简单,高效,但主节点存在单点问题(HDFS,YARN,storm,hbase,spark,flumk)
对称架构:复杂,效率较低,但无单点问题,更加可靠(zookeeper,kafka)
Storm组件:zookeeper
Storm组件:Worker
Supervisor组件
(1)从Nimbus目录读取代码,从zk上读取Nimbus分配的task
(2)启动工作进程Worker执行任务
(3)监测运行的工作进程Worker
Storm组件:Nimbus
接收客户端topo代码,拆分成多个task,将task信息存入zk
将task分配给Supervisor,将映射关系存入zk
故障检测
Storm主从架构:
Nimbus: 主节点
Supervisor: 从节点
zookeeper: 主节点和从节点通过zookeeper进行通信
storm架构类型
Storm组件:Nimbus
接收客户端topo代码,拆分成多个task,将task信息存入zk
将task分配给Supervisor,将映射关系存入zk
故障检测
storm 原理
123456
Storm主从架构
storm原理:
storm组件:Nimbus
storm组件:supervisor
storm组件:Worker
strom组件:Zookeepper
Worker
Zookeeper
storm
storm
storm组件:zookeeper
2种架构类型