继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

Hadoop入门之安装

城南0
关注TA
已关注
手记 1
粉丝 3
获赞 12

[TOC]

  • 环境检查

    检查java是否已经安装
    java -v

  • 安装
    1. 安装JDK 1.7

    创建java目录

    mkdir /usr/java 
    cd /usr/java

安装jdk

  1. 通过WinSCP或者其他方式将拷贝或者下载JDK安装包的/usr/java目录
  2. 解压JDK
    tar -zxvf jdk-8u161-linux-x64.tar.gz

  3. 设置环境变量
vi /etc/profile

输入上面命令后,然后按 i,将光标定位到文件最后一行,在输入下面代码:

#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_161
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

然后按 ESC 键,输入 ":wq" 即保存退出该文件

输入下面命令让修改生效

source /etc/profile

验证 JDK 是否安装成功

java -version
2. 安装SSH

检查是否安装了相关软件

rpm -qa|grep -E "openssh"
openssh-server-6.6.1p1-35.el7_3.x86_64
openssh-clients-6.6.1p1-35.el7_3.x86_64
openssh-6.6.1p1-35.el7_3.x86_64

安装缺失的软件:

sudo yum install openssh*

注册使用服务:

sudo systemctl enable sshd  
sudo systemctl start sshd 
或者 service sshd start 

开启防火墙的22端口:

sudo firewall-cmd --zone=public --add-port=22/tcp --permanent  
sudo service firewalld restart  
3. 安装远程数据同步工具

关于rsync,可见:http://man.linuxde.net/rsync

$ sudo yum install rsync
4. 安装配置Haoop

下载Hadoop软件


curl -O http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz

> 解压Hadoop到/usr/local目录

sudo tar -zxf hadoop-2.9.0.tar.gz -C /usr/local


> 运行Hadoop测试是否安装成功

cd /usr/local/hadoop-2.9.0
./bin/hadoop version


>设置Hdoop环境变量

// "编辑环境变量"
vim ~/.bashrc


> 设置环境变量

export PATH=$PATH:/usr/local/hadoop-2.9.0/sbin/:/usr/local/hadoop-2.9.0/bin/


> 保存并退出

ESC + :wq


> 刷新环境变量

source ~/.bashrc


> 更改Hadoop的配置
Hadoop的配置文件存放于/usr/local/hadoop-2.9.0/etc/hadoop目录,主要有以下几个配置文件:

graph TB
配置文件-->core-site.xml
配置文件-->dfs-site.xml
配置文件-->mapred-site.xml
配置文件-->yarn-site.xml
配置文件-->hadoop-env.sh


其中,后两个主要是跟YARN有关的配置。

将core-site.xml更改为如下内容:
```xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

然后再将hdfs-site.xml更改为如下内容:x

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改hadoop-env.sh中的JAVA_HOME

修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
应当使用绝对路径。
export JAVA_HOME=${JAVA_HOME}                  //错误,不能这么改
export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确,应该这么改

如果不修改Hadoop中的Java环境变量,则会报下面的错误:

Error: JAVA_HOME is not set and could not be found.
5.检查配置

5.1 NameNode格式化

经过上面的配置,Hadoop是配置成功了,但是并不能工作,还需要进行初始化操作,因为我们已经配置了Hadoop的相关环境变量,因此我们可以直接执行如下命令:

hdfs namenode –format

5.2 开启 NameNode 和 DataNode 守护进程

通过start-dfs.sh命令开启NameNode 和 DataNode 守护进,第一次执行时会询问是否连接,输入”yes”即可(因为已经配置了ssh免密码登录),如下所示(请注意一定要用创建的hadoop用户来运行,如果不是hadoop请记得用su hadoop命令来切换到hadoop用户):

start-dfs.sh

然后我们可以通过jps这个java提供的工具来查看启动情况:

jps

启动成功之后,访问localhost:50070查看NameNode和DataNode的信息以及HDFS的信息

打开App,阅读手记
4人推荐
发表评论
随时随地看视频慕课网APP