hadoop安全分布式处理-原创手记-慕课网

使用root登录，

添加组groupadd hdgroup

添加用户useradd -g hdgroup hduser

设置密码 passwd hduser

chmod 777 /etc/sudoers

gedit /etc/sudoers

在 root ALL=(ALL) ALL后加一行

hduser ALL=(ALL) ALL

chmod 440 /etc/sudoers

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙 chkconfig iptables off

重启该虚拟机系统使用hduser登录

安装jdk

sudo rpm -ivh jdk-7u67-linux-x64.rpm

一般在/usr/java/jdk1.7.0_67这个路径下

修改配置文件 sudo gedit /etc/profile

加入找到后保存

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hduser/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 生效

测试 java -version

14 cd ~

15 tar -zxvf hadoop-2.6.0.tar.gz

16 mv hadoop-2.6.0 hadoop

17 sudo gedit /etc/profile

18 source /etc/profile

另外再克隆两台节点node

更改主机名：

sudo gedit /etc/sysconfig/network

分别更改

NETWORKING=yes

HOSTNAME=node1

在root登录模式下，如果不是使用su - root 切换到root模式

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙 chkconfig iptables off

重启三台节点

主机名解析

打开配置文件 sudo gedit /etc/hosts

例如

192.168.37.131 node1

192.168.37.132 node2

192.168.37.133 node3

免密码登录其他电脑

在node1服务器主机中生成公/私钥对
ssh-keygen -t rsa -P ""

将node1服务器主机中的钥匙发给其他slave从机

ssh-copy-id localhost

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

注意ssh远程登录到那个主机，环境和权限是那个主机的环境并非本机的环境，也并非本机的权限，可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口

拷贝配置文件

19

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/

20

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/

21 cd ~/hadoop 换位置

28 bin/hdfs namenode -format 格式化一下

32 cd ~/hadoop

33 sbin/start-dfs.sh

34 jps

http://node1:50070/

35 sbin/start-yarn.sh

36 jps

37 bin/hdfs dfsadmin -report

http://node1:8088/cluster/nodes

43 history

原文出处