下载hadoop-2.7.5进行演示
1、解压
2、配置
配置文件在$HADOOP_HOME/etc/hadoop/目录下
hadoop-env.sh
修改他的 JAVA_HOME
core-site.xml
配置默认文件系统和临时目录
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value></property><property><name>hadoop.tmp.dir</name><value>/app/hadoop-2.7.5/data</value></property>
hdfs-site.xml
配置副本数
<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>
vim slaves
修改域名
namenode 格式化
在$HADOOP_HOME/bin 目录下
./hdfs namenode -format
namenode 格式化成功
启动 Hadoop
在 $HADOOP_HOME/sbin 目录
先启动 hdfs
./start-dfs.sh
之后一路 yes 加上 Linux 的密码
使用 jps查看下
dfs 启动
可以看到 NameNode 、DataNode和SecondaryNameNode 都成功启动了
浏览器输入 http://192.168.31.122:50070/,可以看到
image
搭建 Yarn
进入$HADOOP/etc/hadoop/目录
拷贝一份mapred-site.xml进行配置
cp mapred-site.xml.template mapred-site.xml
配置 yarn 作为 MapReduce 的调度框架
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
配置vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
启动 yarn,进入$HADOOP_HOME/sbin/目录
./start-yarn.sh
查看启动 yarn
可以浏览器打开 http://192.168.31.122:8088
image
测试
测试 HDFS
测试 yarn
进入目录 $HADOOP_HOME/share/hadoop/mapreduce
image
执行
hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 2 3
可以同时浏览http://192.168.31.122:8088/cluster
image
image
到此为止 Hadoop 环境基本成功
作者：breezedancer
链接：https://www.jianshu.com/p/5660ad654021
随时随地看视频
