手记

学习hadoop(五) 伪分布式安装hadoop


伪分布式安装:

    1  关闭防火墙和selinux

      直接关闭防火墙:  systemctl stop firewalld.service       

      禁止firewall开机启动 : systemctl disable firewalld.service

      查看防火墙状态:firewall-cmd --state

       

        关闭selinux vi /etc/selinux/config

           把SELINUX=enforcing 改成SELINUX=disabled


   2   设置静态ip(前面已经有讲过)。

    3设置主机名  绑定域名(可以不做)

         绑定域名:vi /etc/hosts

         添加上你的静态ip 及你想用的域名

    4 重点:配置ssh无秘钥登录

              生成秘钥 ssh-keygen -t rsa   一路enter

          

          ls -al 找到生成的文件:

          

           cd .ssh 可以看到一个公钥一个私钥

      

      cp  ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys(此处名称必须是这个)


使用ssh连接测试  ssh localhost


 


     下次可以直接登录

5安装jdk 参考单机安装

6安装hadoop 参考单机安装

7在core-site.xml中添加如下配置 并在/usr/data/目录下创建tmp目录   mkdir -p usr/data/tmp

    *注意,如果你没有配置域名的话,下面配置中的hadoop.dragon.org  都可以用localhost老

<configuration>
     <property>
	         <name>fs.default.name</name>
	         <value>hdfs://hadoop.dragon.org:9000</value>  #指定namenode的主机和端口号,主机可以在/etc/host/修改配置
	 </property>
	 <property>
	         <name>hadoop.tmp.dir</name>             #hadoop的临时目录
		 <value>/usr/data/tmp</value>
	 </property>
</configuration>

hdfs-site.xml配置修改如下

<configuration>
         <property>
	         <name>dfs.replication</name>
	         <value>1</value>                      #配置几个副本,伪分布模式为1
	 </property>
	 <property>
	         <name>dfs.permissions</name>
		 <value>false</value>                   #是否进行权限检查
	 </property>

</configuration>

mapred-site.xml

<configuration>
     <property>
	         <name>mapred.job.tracker</name>
		 <value>hadoop.dragon.org:9001</value>  # 指定jobtrack主机和端口号
	 </property>

</configuration>

配置数据节点配置文件slaves 和辅助名称节点master 把localhost修改为主机名hadoop.dragon.org

至此配置完成

8对namenode进行格式化操作   在hadoop目录下执行  ./hadoop namenode -format   


启动文件系统 start-dfs.sh


访问地址:



启动start-mapred.sh 会启动jobtrack 和tasktrack



日志怎么看?有log和out两种日志类型,out记录标准输出和标准错误,日志内容比较少,系统默认保留最新的五个文件。



测试hadoop自带的wordcount

   操作文件系统, 这一块首先要学习一下hadoop的命令,hadoop fs 【命令】 ,至少要了解 hadoop fs的大概意思。命令解释很快会在下一篇中补充。

   假设我们要把一些文件保存到/wc/input/目录中(路径自定义),因为没有这个目录,要新建一个。

hadoop fs -mkdir  /wc

hadoop fs -mkdir /wc/input

把hadoop下conf目录下xml文件拷贝到 /wc/input/下

hadoop fs -put  /usr/hadoop/hadoop-1.2.1/conf/*.xml         /wc/input/

执行统计查询:

cd /usr/hadoop/hadoop-1.2.1

hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/  (这个输出路径只能够使用一次)


下面两幅图是一个页面可以用来实时监测map reduce的执行了多少




hadoop的目录结构:

原文出处

0人推荐
随时随地看视频
慕课网APP