Hadoop2.8.3 分布式环境搭建-原创手记-慕课网

Hadoop分布式环境搭建

说明：作为一款高可用的分布式文件系统，自然少不了分布式环境的搭建，记录的伪分布式环境的搭建，今天跟我一起搭建一个三节点的分布式环境吧！

一、背景说明

注意：由于本系列教程的环境搭建都是依赖于VMware虚拟环境搭建，所以开始今天的Hadoop分布式环境搭建前，要先准备好三个CentOS7虚拟系统环境，由于Centos7虚拟环境在之前文章中已经详细说明，所以在此不再赘述。

二、Centos基础组件配置

用户设置：
>> useradd hadoop -- 添加用户
>> passwd hadoop -- 设置密码
>> vi /etc/sudoers (在最后一行添加：hadoop ALL=(ALL) ALL ) 修改用户权限
JDK环境配置：
>> 下载JDK安装文件，可以通过wget命令
>> tar -zxvf jdk-8u162-linux-x64.tar.gz -- 解压
>> vi ~/.bashrc -- 配置环境变量（增加如下内容）
export JAVA_HOME=/home/hadoop/my_install_software/jdk1.8.0_162export PATH=${JAVA_HOME}/bin:$PATH
>> source ~/.bashrc -- 刷新配置文件
安装SSH客户端：
>> 查看是否已经安装SSH客户端：rpm -aq | grep ssh
>> 搜索SSH客户端：yum search openssh
>> 安装SSH客户端：yum -y install openssh-clients
>> 测试SSH客户端：ssh localhost
>> 退出SSH客户端：logout
修改HOSTS文件：增加如下内容
192.168.2.16 HM01
192.168.2.17 HS0101
192.168.2.18 HS0102

三、下载Hadoop安装文件

在选定的安装目录下执行如下命令-下载：
>> wget http://archive.apache.org/dist/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz

四、解压缩Hadoop安装文件

执行如下命令-解压：
>> tar -zxvf hadoop-2.8.3.tar.gz

五、Hadoop环境文件配置

切换到Hadoop主目录
>> cd -- 进入Hadoop用户的家目录
>> cd my_install_software/hadoop-2.8.3 -- 进入Hadoop主目录
>> mkdir tmp -- 创建Hadoop数据目录
修改Hadoop配置文件：
>> cd etc/hadoop -- 进入Hadoop配置文件目录
>> vi hadoop-env.sh -- 配置Hadoop中的JAVA_HOME ，需改如下：
export JAVA_HOME=/home/hadoop/my_install_software/jdk1.8.0_162
>> vi core-site.xml -- 添加如下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.2.16:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/my_install_software/hadoop-2.8.3/tmp</value>
</property>
</configuration>
>> vi hdfs-site.xml -- 添加如下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
>> cp mapred-site.xml.template mapred-site.xml -- 复制mapred-site.xml
>> vi mapred-site.xml -- 添加如下内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
>> vi yarn-site.xml -- 添加如下内容
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>HM01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

六、分发Hadoop文件

分发Hadoop应用文件到从节点：
>> scp hadoop-2.8.3 HS0101:~/my_install_software -- 分发Hadoop到从节点1
>> scp hadoop-2.8.3 HS0102:~/my_install_software -- 分发Hadoop到从节点2

七、免密登录设置

三台机器免密登录设置：
>> cd -- 进入Hadoop家目录
>> cd .ssh/ -- 进入ssh目录
>> ssh-keygen -t rsa -- 生成公钥和私钥文件（分别在三台机器上执行）（一路回车）
>> cat id_rsa.pub >> authorized_keys -- 把公钥文件写入到authorized_keys
>> scp id_rsa.pub hadoop@HM01:~/.ssh/id_rsa.pub_from_hs0101 -- 把第一个从节点的公钥分发到主节点
>> scp id_rsa.pub hadoop@HM01:~/.ssh/id_rsa.pub_from_hs0102 -- 把第二个从节点的公钥分发到主节点
>> cat id_rsa.pub_from_hs0101 >> authorized_keys -- 把第一个从节点公钥文件写入authorized_keys
>> cat id_rsa.pub_from_hs0101 >> authorized_keys -- 把第二个从节点公钥文件写入authorized_keys
>> scp authorized_keys hadoop@HS0101:~/.ssh/
>> scp authorized_keys hadoop@HS0102:~/.ssh/

八、Hadoop分布式配置

分布式配置：
HM01主节点：namenode ; resourcemanager
HS0101和HS0102从节点：datanode ; nodemanager
>> cd my_install_software/hadoop-2.8.3/etc/hadoop -- 进入Hadoop配置文件目录
>> vi slaves --添加从节点地址增加如下内容（分别在从节点执行添加）
HS0101
HS0102
>> ./hdfs namenode -format -- 执行格式化命令（在主节点上执行)
>> ./sbin/start-all.sh -- 启动服务万

（完结）完成以上所有步骤即完成了Hadoop分布式环境的搭建

作者：canjian215215
链接：https://www.jianshu.com/p/c586fef450ef