Zookeeper 文件系统
Storm 主从架构
Storm 的诞生
文件系统
每个目录都是一个znode节点
zonde节点可直接存储数据
类型:持久化、持久化顺序、临时、临时顺序
zookeeper
storm组件
storm原理
架构类型:
主从架构:简单,高效,但主节点存在单点问题(HDFS,YARN,storm,hbase,spark,flumk)
对称架构:复杂,效率较低,但无单点问题,更加可靠(zookeeper,kafka)
特性:
使用场景广泛:实时处理和更新,持续并行化查询,满足大量场景
可伸缩性高:扩展计算任务,只需要加机器并提高并行度(使用zookeeper框架)
保证数据无丢失:保证每条消息都会被处理
异常健壮:集群易管理,可轮流重启节点
容错性好:消息处理过程出现异常,会进行重试(分布式计算框架都有的特性)
语言无关性:topology可以用多种语言编写(c,java,python)
cat /etc/sysconfig/network
cat /etc/hosts
连接本地服务器:zkCli
查看命令:ls或ll
查看根目录:ls /
查看磁盘配额:ls /zookeeper
查看数据:get /zookeeper/quota
创建持久化目录:create /test abc
查看: ls /test
获取数据:get /test
修改数据:set /test 123
删除目录:rmr /test
核心功能1:文件系统(Linux就是一个文件系统)
分布式协调服务框架
Zookeeper核心功能:
zookeeper简介
zookeeper安装目录下/bin/zkCli.sh 可以启动zookeeper的命令行客户端,不指定访问的服务器地址时默认访问本地zookeeper服务器。
zookeeper的通知机制