继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

【学习打卡】第14天 Hadoop再深入之环境搭建

杀入互联网江湖
关注TA
已关注
手记 58
粉丝 4
获赞 1

第一模块

课程名称:Hadoop 系统入门+核心精讲

章节名称:3-7 ~ 3-10

讲师姓名:Michael_PK


第二模块

内容概述:

3-7 ~ 3-10小节主要讲解了Hadoop部署前的一些前置准备工作,包括:JDK的安装、ssh无密码登录设置以及Hadoop安装后的目录结构


第三模块

学习心得:

通过这4章的学习使我对Hadoop的安装有了更深入的认识,知道了更多的安装细节,同时也大大丰富了自己对Linux的常用命令的掌握,下面附上学习笔记:

3-7 Hadoop部署前置介绍

http://img2.mukewang.com/62fe3b5f0001a0ec14000752.jpg


本地传到服务器:ftp客户端


3-8 JDK1.8部署详解

服务器端:

http://img2.mukewang.com/62fe3b670001f8a312540275.jpg


本地端:

http://img3.mukewang.com/62fe3b720001ee7d11180186.jpg


Linux命令:

scp:拷贝本地软件包到服务器

http://img3.mukewang.com/62fe3b7c0001684114550246.jpg


工作中的服务器一定是访问不了外网的!!!

所以,通过本地端向服务器端拷贝东西是一定要会的!!!


tar:压缩包解压

http://img4.mukewang.com/62fe3ae100010c4b13240125.jpg


建议:把jdk配置进系统的环境变量中,从而可以在全局范围内访问到jdk

注意:对于Linux系统而言,系统环境变量有好几种,这里我们选用【根目录】这种,eg:

http://img.mukewang.com/62fe3af40001f18f12380178.jpg

http://img2.mukewang.com/62fe3b0700016b8408330766.jpg


重新加载文件(使配置实时生效):

http://img.mukewang.com/62fe3b1000019c5208600192.jpg    

http://img1.mukewang.com/62fe3b180001ea6a10920267.jpg


3-9 ssh无密码登录详解

ls:查看这个文件夹下的可见文件

ls -a:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的)

ls - la:查看这个文件夹下的可见文件和隐藏文件(文件名以.开头的),以列表形式展示


默认情况下没有.ssh文件,要想有,得执行一次ssh命令,之后会自动生成一个。


没有配置无密码登录时:

http://img1.mukewang.com/62fe3b2600016b3b13510425.jpg


配置ssh无密码登录:

ss-keygen -t rsa  一路回车

cd ~/.ssh

http://img3.mukewang.com/62fe3b2b0001b6ff12450236.jpg


cat id.rsa.pub >> authorized_keys 【用公钥生成一个叫authorized_keys的文件】

chmod 600 authorized_keys 【改权限】

http://img4.mukewang.com/62fe3b330001b01211020125.jpg


Linux命令:rm -rf .ssh 删除.ssh文件


3-10 Hadoop安装目录详解 Hadoop-env 配置

ll -lh:查看一个文件下的所有文件和文件的大小


Hadoop(HDFS)安装:    

    下载

    解压:~/app

    添加HADOOP_HOME/bin到系统的环境变量中

    修改Hadoop的配置文件

            hadoop-env.sh

                  export JAVA_HOME=XXXXXX

hadoop文件目录说明:

    bin:Hadoop客户端的命令

    etc/hadoop:hadoop相关的配置文件存放目录

    sbin:Hadoop服务端的命令

    share:常用例子

   http://img3.mukewang.com/62fe3b47000125ec14130761.jpg


第四模块

学习截图:

http://img4.mukewang.com/62fe38650001af4407390184.jpg

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP