继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

ZooKeeper系列(2):安装搭建ZooKeeper环境

慕容森
关注TA
已关注
手记 386
粉丝 183
获赞 649

ZooKeeper有三种安装模式:单机安装(standalone)、伪集群模式、集群模式:

  • standalone模式:只在一台机器上安装ZooKeeper,并只启动一个ZooKeeper实例。

  • 伪集群:在一台机器上开启多个ZooKeeper实例来模拟集群。通过加载不同配置文件,分配不同数据目录来实现这种模式。因为在同一机器上运行,所以机器宕机,整个ZooKeeper就挂了。基本上不会布置这样的ZooKeeper集群。

  • 集群模式:在至少3台机器上安装ZooKeeper构成集群,只要故障节点数量在一定范围内就能保证ZooKeeper服务的可用性。

真正布置的基本上都是集群模式,standalone偶尔用来做些测试,它有单点故障,伪集群模式也有单点故障。

集群模式并非一定至少3台机器,但用2台机器比1台机器更危险,因为随便故障一台都无法满足"大多数"的要求,都会阻塞整个ZooKeeper服务。而2台机器的故障几率是1台机器的2倍。所以,也建议采用奇数台机器来部署ZooKeeper。

ZooKeeper下载:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/

我下载的是3.4.12版本。

1.安装jdk

ZooKeeper运行在java环境下,所以需要先安装jdk,且要求版本高于1.6。

jdk下载:http://www.oracle.com/technetwork/java/javase/downloads/index.html

以rpm包的为例。

yum localinstall -y jdk-8u131-linux-x64.rpm

rpm包的安装路径为/usr/java。

[root@s1 ~]# ls -l /usr/java/
total 4lrwxrwxrwx 1 root root   16 Jun 26 22:53 default -> /usr/java/latest
drwxr-xr-x 9 root root 4096 Jun 26 22:53 jdk1.8.0_131
lrwxrwxrwx 1 root root   22 Jun 26 22:53 latest -> /usr/java/jdk1.8.0_131

通过这种软链接方式,以后有新版jdk要安装,直接改latest的链接对象即可。

然后再设置JAVA_HOME环境变量并导出java程序所在目录的PATH环境变量。

echo 'JAVA_HOME=/usr/java/latest' > /etc/profile.d/jdk.shecho 'PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile.d/jdk.shchmod +x /etc/profile.d/jdk.shsource /etc/profile.d/jdk.sh

2.StandAlone模式

standalone模式是在单机上安装ZooKeeper。

先解压zookeeper-3.4.12.tar.gz。

tar xf zookeeper-3.4.12.tar.gz

再把它移到/usr/local/下方便管理。

mv zookeeper-3.4.12 /usr/local/zookeeper

在ZooKeeper的bin目录下提供了几个Windows和Linux下的脚本:

[root@s2 zookeeper]# cd /usr/local/zookeeper[root@s2 zookeeper]# ls binREADME.txt  zkCleanup.sh  zkCli.cmd  zkCli.sh  zkEnv.cmd  zkEnv.sh  zkServer.cmd  zkServer.sh
  • zkServer:用于启动、停止ZooKeeper,且能查看ZooKeeper状态。

    zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}
  • zkEnv:设置ZooKeeper启动、关闭时的环境变量。在其余的每个脚本中都引用了这个脚本。

  • zkCleanup:清除ZooKeeper的事务日志和快照。

  • zkCli:ZooKeeper的一个命令行客户端。

设置ZooKeeper的环境变量,这不是必须的,只是为了方便操作上面的几个脚本。

echo 'ZOOKEEPER_HOME=/usr/local/zookeeper' >/etc/profile.d/zk.shecho 'PATH=$ZOOKEEPER_HOME/bin:$PATH' >> /etc/profile.d/zk.shchmod +x /etc/profile.d/zk.shsource /etc/profile.d/zk.sh

把windows下的脚本删除:

rm -rf /usr/local/zookeeper/bin/{*.cmd,README.txt}

为了启动ZooKeeper,先提供一个配置文件。默认配置文件的路径为$ZOOKEEPER_HOME下的conf目录。在这个目录下,有几个文件:

[root@s2 zookeeper]# ls confconfiguration.xsl  log4j.properties  zoo_sample.cfg
  • configuration.xsl:无视它。

  • log4f.properties:是ZooKeeper的日志配置文件。

  • zoo_sample.cfg:是ZooKeeper的示例配置文件。

zkServer.sh默认的配置文件名为zoo.cfg。所以,在conf目录下创建一个zoo.cfg。写入几个保证ZooKeeper能正常运行的配置项:

tickTime=2000dataDir=/usr/local/zookeeper/data1clientPort=2181

其中:

  • tickTime:ZooKeeper中很多配置项(如心跳时间、连接超时时间等)都要用到的时间单位,这里配置为2000毫秒,即2秒。

  • dataDir:ZooKeeper实例的数据目录。

  • clientPort:ZooKeeper向外提供服务的端口。

然后用zkServer.sh来启动ZooKeeper。

[root@s2 zk]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTED

也可以手动指定启动时读取的配置文件:

[root@s2 zk]# zkServer.sh start /usr/local/zookeeper/conf/zoo.cfg

查看ZooKeeper的运行状态:

[root@s2 zk]# zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgMode: standalone

可以看到运行模式是"standalone"。

ZooKeeper启动后,就可以向外提供ZooKeeper服务了。这里用ZooKeeper提供的命令行客户端去连接一下ZooKeeper做个简单的测试。

连接ZooKeeper实例:

zkCli.sh -server localhost:2181

连接过程中会输出一大堆信息。当连接成功后,将进入ZooKeeper的交互式模式:

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTED) 0]   # 在这里输入ZooKeeper允许的命令

例如,创建一个znode:

[zk: localhost:2181(CONNECTED) 0] create /zk_test mydata1Created /zk_test[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper, zk_test]

[zk: localhost:2181(CONNECTED) 2] quit

3.配置伪集群模式

ZooKeeper的伪集群模式是在一个服务器上运行多个ZooKeeper实例来模拟ZooKeeper集群。伪集群模式下,每个实例的配置文件不同、数据目录不同、端口不同。一般来说,ZooKeeper集群至少需要3个服务器节点。

这里,我配置3个实例的ZooKeeper伪集群,它们的数据目录分别为$ZOOKEEPER_HOME下的data1、data2和data3。因为稍后要向这些目录中写myid文件,所以先创建这3个目录:

mkdir /usr/local/zookeeper/data{1,2,3}

先提供3个实例的配置文件,分别为$ZOOKEEPER_HOME/conf/{zoo1.cfg,zoo2.cfg,zoo3.cfg}

以下是zoo1.cfg内容,各配置项稍后解释。

tickTime=2000dataDir=/usr/local/zookeeper/data1clientPort=2181initLimit=5syncLimit=2server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889

以下是zoo2.cfg内容,各配置项稍后解释。

tickTime=2000dataDir=/usr/local/zookeeper/data2clientPort=2182initLimit=5syncLimit=2server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889

以下是zoo3.cfg内容,各配置项稍后解释。

tickTime=2000dataDir=/usr/local/zookeeper/data3clientPort=2183initLimit=5syncLimit=2server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889

上面的配置项中:

  • initLimit:当非leader节点(即follower和observer)启动时,需要先从leader那里复制数据,以保证所有ZooKeeper节点数据都是同步的。这个选项设置非leader节点从启动到完成同步的超时时长,它以tickTime为时间单位,所以上面的超时时长为5*2=10秒。

    一般来说,ZooKeeper保存的都是协调数据,数据量并不大,所以多数时候可以忽略这个参数,如果待同步数据真的很大,可以考虑增加这个超时时间。

  • syncLimit:follower和leader之间数据延迟的最大时间长度。例如,有个节点的更新操作缓慢,它的数据已经严重落后于leader,ZooKeeper就会将它从ZooKeeper集群中踢出去。ZooKeeper使用时间来度量follower和leader之间数据的延迟,这个选项的值依赖于tickTime,例如tickTime=2000,syncLimit=2表示follower比leader延迟了4秒。

  • server.X=[hostname]:port_A:port_B:该选项用来指定ZooKeeper集群中的服务器节点。其中:

    • X:整数。是ZooKeeper中服务器的一个简单标识。这个数值需要和dataDir下的myid文件内容一致。在启动ZooKeeper集群中的每个实例时,需要读取数据目录中的myid文件,并将该文件中的数值和配置文件中的server.X做匹配,匹配到哪个就表示是哪个ZooKeeper服务器节点。

    • hostname:ZooKeeper服务器节点的地址。

    • port_A:这是第一个端口,用于Follower和Leader之间的数据同步和其它通信。

    • port_B:这是第二个端口,用于Leader选举过程中投票通信。

所以,分别在每个实例的dataDir下创建对应的myid文件。

echo 1 >/usr/local/zookeeper/data1/myidecho 2 >/usr/local/zookeeper/data2/myidecho 3 >/usr/local/zookeeper/data3/myid

然后启动这3个ZooKeeper实例。

zkServer.sh start /usr/local/zookeeper/conf/zoo1.cfgzkServer.sh start /usr/local/zookeeper/conf/zoo2.cfgzkServer.sh start /usr/local/zookeeper/conf/zoo3.cfg

查看当前java进程列表:

[root@s1 zk]# jps -l5473 org.apache.zookeeper.server.quorum.QuorumPeerMain5395 org.apache.zookeeper.server.quorum.QuorumPeerMain5427 org.apache.zookeeper.server.quorum.QuorumPeerMain5524 sun.tools.jps.Jps

查看这3个实例之间的关系:zoo2.cfg被选为leader,其它是follower。

[root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo3.cfgZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/conf/zoo3.cfgMode: follower

[root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo1.cfgZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/conf/zoo1.cfgMode: follower

[root@s1 zk]# zkServer.sh status /usr/local/zookeeper/conf/zoo2.cfgZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/conf/zoo2.cfgMode: leader

可以用ZooKeeper提供的命令行客户端工具来测试,写入其中一个实例的数据,其它实例也能收到。

[root@s1 zk]# zkCli.sh -server localhost:2181 create /my_znode hello......省略.........WatchedEvent state:SyncConnected type:None path:nullCreated /my_znode


[root@s1 zk]# zkCli.sh -server localhost:2182 ls /......省略........WatchedEvent state:SyncConnected type:None path:null
[my_znode, zookeeper]

4.配置ZooKeeper集群

以3节点的集群为例:192.168.100.21、192.168.100.22、192.168.100.23。因为前面配置单机ZooKeeper和伪集群ZooKeeper已经解释过所有步骤和配置项的意义,所以这里就直接给步骤。

假设已经在3个节点上都安装好了jdk(这是前提),并下载好了ZooKeeper。

先解压zookeeper-3.4.12.tar.gz。

# 3个节点都执行tar xf zookeeper-3.4.12.tar.gzmv zookeeper-3.4.12 /usr/local/zookeeper

添加ZooKeeper环境变量,非必须过程,但建议。

# 在3节点上都执行echo 'ZOOKEEPER_HOME=/usr/local/zookeeper' >/etc/profile.d/zk.shecho 'PATH=$ZOOKEEPER_HOME/bin:$PATH' >> /etc/profile.d/zk.shchmod +x /etc/profile.d/zk.shsource /etc/profile.d/zk.sh

提供配置文件。以下是3个节点上的配置文件:

[root@s1 zk]# cat /usr/local/zookeeper/conf/zoo.cfg tickTime=2000dataDir=/usr/local/zookeeper/dataclientPort=2181initLimit=5syncLimit=2server.1=192.168.100.21:2888:3888server.2=192.168.100.22:2888:3888server.3=192.168.100.23:2888:3888

在三个节点上都创建好数据目录,并写入myid文件。

# 3个节点上都执行:mkdir /usr/local/zookeeper/data# 192.168.100.21上执行echo 1 >/usr/local/zookeeper/data/myid# 192.168.100.22上执行echo 2 >/usr/local/zookeeper/data/myid# 192.168.100.23上执行echo 3 >/usr/local/zookeeper/data/myid

启动这3个ZooKeeper实例。

# 3个节点都执行:zkServer.sh start

然后在3个节点上都验证一下是否正确启动ZooKeeper。

# 节点1上执行:[root@s1 zk]# zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgMode: follower# 节点2上执行:[root@s2 zk]# zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgMode: follower# 节点3上执行:[root@s3 zk]# zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgMode: leader

如果某个服务器实例出现了错误,请zkServer.sh stop关闭ZooKeeper实例,然后jps命令查看下是否还有ZooKeeper实例在运行,如果有,kill掉。然后再启动ZooKeeper。另外,建议在第一次启动ZooKeeper之前,先将dataDir/version-2目录删除(如果已存在,因为可能是以前的实例因为各种原因而留下来的)。

最后测试下,某节点上创建一个znode,其它节点是否也同步了该节点。

# 在192.168.100.21上创建一个znode:[root@s2 zk]# zkCli.sh -server 192.168.100.21:2181 create /test_znode "hello world"Connecting to 192.168.100.21:2181
.........省略..........
Created /test_znode# 在192.168.100.22上获取这个znode[root@s2 zk]# zkCli.sh -server 192.168.100.22:2181 get /test_znodeConnecting to 192.168.100.22:2181
.........省略..........
hello world
cZxid = 0x100000002
ctime = Wed Jun 27 08:14:38 CST 2018
mZxid = 0x100000002
mtime = Wed Jun 27 08:14:38 CST 2018
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 0# 在192.168.100.23上获取这个znode[root@s2 zk]# zkCli.sh -server 192.168.100.23:2181 ls /Connecting to 192.168.100.23:2181
.........省略..........
[zookeeper, test_znode]

作者:骏马金龙

出处:http://www.cnblogs.com/f-ck-need-u/


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP