手记

【学习打卡】第14天 Hadoop再深入之环境搭建

第一模块

课程名称:Hadoop 系统入门+核心精讲

章节名称:3-7 ~ 3-10

讲师姓名:Michael_PK


第二模块

内容概述:

3-7 ~ 3-10小节主要讲解了Hadoop部署前的一些前置准备工作,包括:JDK的安装、ssh无密码登录设置以及Hadoop安装后的目录结构


第三模块

学习心得:

通过这4章的学习使我对Hadoop的安装有了更深入的认识,知道了更多的安装细节,同时也大大丰富了自己对Linux的常用命令的掌握,下面附上学习笔记:

3-7 Hadoop部署前置介绍


本地传到服务器:ftp客户端


3-8 JDK1.8部署详解

服务器端:


本地端:


Linux命令:

scp:拷贝本地软件包到服务器


工作中的服务器一定是访问不了外网的!!!

所以,通过本地端向服务器端拷贝东西是一定要会的!!!


tar:压缩包解压


建议:把jdk配置进系统的环境变量中,从而可以在全局范围内访问到jdk

注意:对于Linux系统而言,系统环境变量有好几种,这里我们选用【根目录】这种,eg:


重新加载文件(使配置实时生效):

    


3-9 ssh无密码登录详解

ls:查看这个文件夹下的可见文件

ls -a:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的)

ls - la:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的),以列表形式展示


默认情况下没有.ssh文件,要想有,得执行一次ssh命令,之后会自动生成一个。


没有配置无密码登录时:


配置ssh无密码登录:

ss-keygen -t rsa  一路回车

cd ~/.ssh


cat id.rsa.pub >> authorized_keys 【用公钥生成一个叫authorized_keys的文件】

chmod 600 authorized_keys 【改权限】


Linux命令:rm -rf .ssh 删除.ssh文件


3-10 Hadoop安装目录详解 Hadoop-env 配置

ll -lh:查看一个文件下的所有文件和文件的大小


Hadoop(HDFS)安装:    

    下载

    解压:~/app

    添加HADOOP_HOME/bin到系统的环境变量中

    修改Hadoop的配置文件

            hadoop-env.sh

                  export JAVA_HOME=XXXXXX

hadoop文件目录说明:

    bin:Hadoop客户端的命令

    etc/hadoop:hadoop相关的配置文件存放目录

    sbin:Hadoop服务端的命令

    share:常用例子

   


第四模块

学习截图:

0人推荐
随时随地看视频
慕课网APP