继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

Hadoop生产环境中扩容DataNode节点的过程梳理

2018-10-13 10:06:597891浏览

酷田

3实战 · 10手记 · 3推荐
TA的实战

在线上环境,经常需要根据业务发展对HDFS进行扩容,比如我们要添加一个新DataNode节点到集群中

        新节点主机名:node4.360.cn IP地址:192.168.184.9

        节点上运行进程:datanode、nodemanager

步骤如下:

1、node4.360.cn节点做以下配置

        (1)、配置/etc/hosts文件,添加node4.360.cn(集群所有节点最好全部添加,并保持一致)

        (2)、初始化本地节点的HDFS存储磁盘,这里假定我用到两块磁盘(具体情况自己设定)

                新节点node4.360.cn上添加2块磁盘并分别挂载到/data01、/data02

                        mkdir  /data01/block

                        mkdir  /data02/block

                        chown  -R  hdfs.hdfs  /data01/block

                        chown  -R  hdfs.hdfs  /data02/block

        (3)、从NameNode节点拷贝配置文件目录下所有文件到node4.360.cn

                scp  /opt/hdfs/etc/hadoop/*   hdfs@node4.360.cn:/opt/hdfs/etc/hadoop/

        (4)、hdfs-site.xml文件中的配置项修改

                dfs.data.dir 值为:/data01/block/data,/data02/block/data

2、NameNode节点配置

        (1)、hdfs-site.xml配置项dfs.hosts文件添加新节点主机

                dfs.hosts 文件路径:/opt/hdfs/etc/hadoop/whitehosts

                追加内容:node4.360.cn

        (2)、slaves文件添加新节点主机

                vim  /opt/hdfs/etc/hadoop/slaves

                追加内容:node4.360.cn,然后分发给其他所有主机(实际只需namenode节点保持更新即可,但为使得所有节点保持一致,还是分发给所有节点)

        (3)、刷新节点(NameNode节点执行)

                执行命令:hdfs  dfsadmin  -refreshNodes     # 刷新完通过50070Web界面可以看到新DataNode

                执行命令:yarn  rmadmin  -refreshNodes      # 刷新完通过8088Web界面可以看到新NodeManager

(4)、在node4.360.cn上执行启动命令:

                hadoop-daemon.sh  start  datanode

                yarn-daemon.sh  start nodemanager

(5)、验证node4.360.cn是否正常加入集群

                打开namenode的50070在浏览器查看,看是否新节点加入集群

                打开resourcemanager的8088在浏览器查看,看是否新节点加入集群

················································································································

欢迎关注课程:
企业级开源四层负载均衡解决方案--LVS


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP