hadoop分布式集群配置hbase数据库

注意：

        之前的章节配置好了完全分布式hadoop集群，共有三台机器，master， slave01,  slave02， 下面开始配置hbase

首先说明一点，hbase是依赖于zookeeper的进行运行的，所以在部署hbase之前需要先进行部署zookeeper， 但是，hbase中自带了默认的zookeeper，如果不需要自己手动部署zookeeper 的话，可以选择hbase自带默认的，主要原因方便，简单。

接下来开始部署。（亲测可用，我部署完了之后为了不忘记，就整理了一下）

一、下载hbase安装包

   下载链接：http://archive.apache.org/dist/hbase/

    找个版本下载下来然后解压。我选择的是 2.0.0-alpha-3版本。解压到服务器，和我之前的hadoop放在同一个目录了。

   

二、配置hbase的环境变量：HBASE_HOME、hbase-env.sh

    1.编辑vi /etc/profile文件 加入hbase的环境变量

    

    2.进入hbase的配置文件目录conf： cd opt/modules/hbase/conf/, 打开hbase-env.sh文件

        将java jdk的路径加入进去：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161

   

        顺便在此文件中，去掉注释 #export HBASE_MANAGES_ZK=true, 使用hbase自带的zookeeper。

   

三、配置hbase-site.xml文件

      此文件还是在hbase的conf配置文件夹下，配置信息如下：

      <configuration>  
    <property>  
        <name>hbase.rootdir</name>  
        <value>hdfs://master:9000/hbase</value><!--这里必须跟core-site.xml中的fs.defaultFS键配置一样-->  
    </property>  
    <!-- 开启分布式模式 -->  
    <property>  
        <name>hbase.cluster.distributed</name>  
        <value>true</value>  
    </property>  
    <!--只配置端口，为了配置多个HMaster -->  
    <property>  
        <name>hbase.master</name>  
        <value>master:60000</value>  
    </property>  
    <property>  
        <name>hbase.tmp.dir</name>  
        <value>/opt/modules/hbase/tmp</value>  
    </property>  
 
    <!--这里设置hbase API客户端侧缓存值，大于此值就进行一次提交，/opt/hbase-1.2.1/conf/hbase-site.xml统一配置为5M，对所有HTable都生效，那么客户端API就可不设置-->  
    <!--htable.setWriteBufferSize(5242880);//5M -->  
    <property>  
        <name>hbase.client.write.buffer</name>  
        <value>5242880</value>  
    </property>  
    <!--这里设置Master并发最大线程数，经常有人设为300左右-->  
    <property>  
        <name>hbase.regionserver.handler.count</name>  
        <value>20</value>  
    </property>  
    <!--  
    默认值 ：256M  
    说明      ：在当前ReigonServer上单个Reigon的最大存储空间，单个Region超过该值时，这个Region会被自动split成更小的region。  
    数据表创建时会预分区，每个预分区最大大小这里设置为10G，防止频繁的split阻塞数据读写，  
    只有当预分区超过10G时才会进行split，正式环境应该首先预测数据存储时间内的大致数据量，  
    然后如果每个预分区为10G，计算出分区数，建表时指定分区设置，防止后期频繁split  
    写法，如果你想设为128兆，但绝不可以写成128M这样，最安全的写法是128*1024*1024的数值，如下  
    -->  
    <property>  
        <name>hbase.hregion.max.filesize</name>  
        <value>134217728</value>  
    </property>  
    <!--  
    默认hbase每24小时会进行一次major_compact，major_compact会阻塞读写，这里先禁用，但不代表这个操作不做，  
    可以后期指定linux shell加入到cron定时任务在hbase集群空闲情况下执行  
    -->    
    <property>  
        <name>hbase.hregion.majorcompaction</name>  
        <value>0</value>  
    </property>  
    <!--  
    hbase本质上可以说是HADOOP HDFS的客户端，虽然Hadoop的core-site.xml里设置了文件副本数，但是仍然是客户端传值优先，这里设置为2，  
    意思是一个文件，最终在Hadoop上总个数为2，正式环境最好设置为3，目前发现此值小于3时，  
    在遇到All datanodes xxx.xxx.xxx.xxx:port are bad. Aborting...错误信息时，如果某个DataNode宕机，原则上hbase调用的DFSClient会去其他Datanode    
    上重试写，但发现配置的值低于3就不会去尝试  
    -->    
    <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
    </property>  
    <!--  
    IncreasingToUpperBoundRegionSplitPolicy策略的意思是，数据表如果预分区为2，配置的memstore flush size=128M，那么下一次分裂大小是2的平方然后乘以128MB，即2*2*128M=512MB;  
    ConstantSizeRegionSplitPolicy策略的意思是按照上面指定的region大小超过30G才做分裂  
    -->  
    <property>  
        <name>hbase.regionserver.region.split.policy</name>  
        <value>org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy</value>  
    </property>  
    <!--一个edit版本在内存中的cache时长，默认3600000毫秒-->  
    <property>  
        <name>hbase.regionserver.optionalcacheflushinterval</name>  
        <value>7200000</value>  
    </property>  
    <!--分配给HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默认0.3意思是分配30%，设置为0就是禁用，但不推荐。-->  
    <property>  
        <name>hfile.block.cache.size</name>  
        <value>0.3</value>  
    </property>  
    <!--当memstore的大小超过这个值的时候，会flush到磁盘。这个值被一个线程每隔hbase.server.thread.wakefrequency检查一下。-->  
    <property>  
        <name>hbase.hregion.memstore.flush.size</name>  
        <value>52428800</value>  
    </property>  
    <!--  
    默认值 ：0.4/0.35  
    说明      ：hbase.hregion.memstore.flush.size 这个参数的作用是当单个Region内所有的memstore大小总和超过指定值时，flush该region的所有memstore  
    单个region server的全部memtores的最大值。超过这个值，一个新的update操作会被挂起，强制执行flush操作。  
    以前版本中是通过hbase.regionserver.global.memstore.upperLimit设置，老版本中含义是在hbase-env.sh中配置的HEAP_SIZE比如4G，  
    那么以该值4G乘以配置的0.5就是2G，意思是所有memstore总和达到2G值时，阻塞所有读写，现在1.2.1版本hbase中被hbase.regionserver.global.memstore.size替代，  
    计算方法仍然是HEAP_SIZE乘以配置的百分比比如下面的0.5，那么阻塞读写的阀值就为2G  
    -->    
    <property>  
        <name>hbase.regionserver.global.memstore.size</name>  
        <value>0.5</value>  
    </property>  
    <!--  
    当强制执行flush操作的时候，当低于这个值的时候，flush会停止。  
    默认是堆大小的 35% . 如果这个值和 hbase.regionserver.global.memstore.upperLimit 相同就意味着当update操作因为内存限制被挂起时，  
    会尽量少的执行flush(译者注:一旦执行flush，值就会比下限要低，不再执行)。    
    在老版本中该值是通过hbase.regionserver.global.memstore.size.lower.limit设置，  
    计算方法是以hbase-env.sh的HEAP_SIZE乘以配置的百分比比如0.3就是HEAP_SIZE4G乘以0.3=1.2G，达到这个值的话就在所有memstore中选择最大的那个做flush动作，  
    新版本则完全不同了，首先是通过hbase.regionserver.global.memstore.lowerLimit设置，而且不是以HEAP_SIZE作为参考，  
    二是以配置的hbase.regionserver.global.memstore.size的值再乘以配置的比例比如0.5，如果HEAP_SIZE=4G，  
    hbase.regionserver.global.memstore.size配置为0.5，hbase.regionserver.global.memstore.size.lower.limit配置的为0.5，  
    则计算出来的值为4G乘以0.5再乘以0.5就是1G了，达到1G就先找最大的memstore触发flush  
    -->    
    <property>  
        <name>hbase.regionserver.global.memstore.size.lower.limit</name>  
        <value>0.5</value>  
    </property>  
    <!--这里设置HDFS客户端最大超时时间，尽量改大，后期hbase经常会因为该问题频繁宕机-->  
    <property>  
        <name>dfs.client.socket-timeout</name>  
        <value>600000</value>  
    </property>  
 
    <!--  
    hbase.table.sanity.checks是一个开关，主要用于hbase各种参数检查，当为true时候，检查步骤如下  
    1.check max file size，hbase.hregion.max.filesize，最小为2MB  
    2.check flush size，hbase.hregion.memstore.flush.size，最小为1MB  
    3.check that coprocessors and other specified plugin classes can be loaded  
    4.check compression can be loaded  
    5.check encryption can be loaded  
    6.Verify compaction policy  
    7.check that we have at least 1 CF  
    8.check blockSize  
    9.check versions  
    10.check minVersions <= maxVerions  
    11.check replication scope  
    12.check data replication factor, it can be 0(default value) when user has not explicitly set the value, in this case we use default replication factor set in the file system.  
    详细情况可以去查看源代码org.apache.hadoop.hbase.master.HMaster的方法sanityCheckTableDescriptor，  
    该代码位于hbase源码的模块hbase-server下  
    -->  
    <property>  
        <name>hbase.table.sanity.checks</name>  
        <value>false</value>  
    </property>  
    <!--ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间-->  
    <property>  
    <!--every 30s,the master will check regionser is working -->  
        <name>zookeeper.session.timeout</name>  
        <value>30000</value>  
    </property>  
    <!--     Hbase的外置zk集群时，使用下面的zk端口。因为我这5台机子打算都安装hbase，所以都指定zookeeper。  
                有个问题就是，hbase和hadoop使用同一个zookeeper，是否可以，这样如果某台服务器上的某个应用挂了，zookeeper会不会认错。  
                把这个机子上挂的A应用误会成B应用呢  
     -->  
    <property>  
        <name>hbase.zookeeper.quorum</name>  
        <value>master:2181,slave01:2181,slave02:2181</value>  
    </property>  
    <property>  
        <name>hbase.zookeeper.property.dataDir</name>  
        <value>/opt/modules/zookeeper/data</value>  
    </property>  
</configuration>

             ----------------------------------------------配置信息结束------------------------

四、配置regionservers

      1.编辑vi /opt/modules/hbase/conf/regionservers文件，  去掉默认的localhost, 不能注释掉，不认注释，删掉就行

      加入master， slave01， slave02保存退出。

       2.然后通过把在master上配置好的hbase，通过远程复制命令scp到slave01和slave02机器上

            scp -r /opt/modules/hbase slave01:/opt/modules/

            scp -r /opt/modules/hbase slave02:/opt/modules/

五、启动与停止hbase

      1.在hadoop已经正常启动的基础上，进入hbase/bin目录，执行start-hbase.sh文件启动hase

   输入jps查看是否已经启动成功, hadoop-script.sh jps 脚本命令是我自己写的脚本，可以同时查看三台机器的jps命令

   停止命令是stop-hbase.sh.

  

我自己的hadoop-script.sh的脚本

你们改改就可以用了

    #!/bin/bash

    params=$@

    echo ==========master $params=============
    ssh master "$params"
    echo ==========slave01 $params=============
    ssh slave01 "$params"
    echo ==========slave02 $params=============

    ssh slave02 "$params"

----------------------完成----------------------

原文出处