史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS

HDFS 环境搭建

HDFS 伪分布式环境搭建

CentOS 环境安装步骤

MacOS安装环境

安装jdk

jdk安装路径

/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME

• 添加java_home到.bash_profile文件中

export JAVA_HOME=$(/usr/libexec/java_home)export PATH=$JAVA_HOME/bin:$PATHexport CLASS_PATH=$JAVA_HOME/lib

Mac OS X ssh设置

输入命令ssh localhost，可能遇到如下问题

原因是没打开远程登录，进入系统设置->共享->远程登录打开就好

这时你再ssh localhost一下

• 下载 Hadoop

  
  

  

• 解压到soft目录

  
  

  

  
  

  

  官方指南

• 编辑 hadoop-env.sh 文件

  
  

  

  
  

  

  
  

  

  
  

  

  
  

  Hadoop也可以在伪分布模式下的单节点上运行，其中每个Hadoop守护进程都在单独的Java进程中运行

  
  

  

  
  

  

  具体更改

  
  

  

  新建一个临时文件目录

  
  

  

  编辑 hdfs/core-site.xml 文件

  
  

  

  
  

  

  
  

  

  配置 datanode 节点数

  
  

  启动 hdfs

  
  

  

  
  

  

  
  

  

查看进程

访问http://localhost:50070/

表示HDFS已经安装成功

存活节点

步骤小结

关闭

HDFS Shell 操作

官网指南

先启动 HDFS

配置 hadoop 环境变量

成功

指令集

dfs fs 无差异

上传一个 txt 文件

创建文件夹

多层次文件夹

遍历所有文件夹

删除文件/文件夹

所上传的文件

Java 操作 HDFS 开发环境搭建

pom 文件

JavaAPI 操作 HDFS文件系统

测试通过

• 测试创建文件方法

  
  

  

  
  

  

• 查看 HDFS 文件的内容

  
  

  

  
  

  

• 上传文件到 HDFS

  
  

  

• 上传文件到 HDFS(带进度条)

  
  

  

  
  

  

  测试通过

  
  

  

• 下载文件到本地

  
  

  

  
  

  

  测试通过

  
  

  

• 查看某个目录下的所有文件

  
  

  

  
  

  

  测试通过

  
  

  

• 删除文件/文件夹

  
  

  

  
  

  

  
  

  

作者：芥末无疆sss
链接：https://www.jianshu.com/p/e35817bdc4a8
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。