手记

Hadoop集群下线datanode

说明:最近需要把hadoop集群中的几台datanode拿出来另作它用,记录一下下线操作

datanode下线后可以直接关掉nodemanager进程,resourcemanager会将任务分配给其他节点


操作:

1.在hdfs-site.xml中增加以下参数:

<property>

    <name>dfs.hosts.exclude</name>

    <value>/hadoop/hadoop-2.6.0-cdh5.4.1/etc/hadoop/excludes</value>

<property>


2.在namenode节点对应路径下创建相关文件,并写入需要下线节点的IP地址

echo "192.168.127.3" >>  /hadoop/hadoop-2.6.0-cdh5.4.1/etc/hadoop/excludes


3.在namenode节点执行命令

hdfs dfsadmin -refreshNodes


4.查看下线情况

hdfs dfsadmin -report

Decomissioning标记的即为正在下线的datanode,hadoop集群会将下线的datanode数据块复制到其他节点

复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode

Decomission效率:5台服务器,每台大概7个T数据,用时大概16hour

平均5*7/16,约2.2T/hour



作者:invincine
链接:https://www.jianshu.com/p/c6bbcf422396


0人推荐
随时随地看视频
慕课网APP