HDFS 环境搭建
HDFS 伪分布式环境搭建
CentOS 环境安装步骤
MacOS安装环境
安装jdk
jdk安装路径
/usr/libexec/java_home -V:列出所有版本的JAVA_HOME
设置 JAVA_HOME
添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)export PATH=$JAVA_HOME/bin:$PATHexport CLASS_PATH=$JAVA_HOME/lib
Mac OS X ssh设置
输入命令ssh localhost，可能遇到如下问题
原因是没打开远程登录，进入系统设置->共享->远程登录打开就好
这时你再ssh localhost一下
下载 Hadoop
解压到soft目录
官方指南
编辑 hadoop-env.sh 文件
Hadoop也可以在伪分布模式下的单节点上运行，其中每个Hadoop守护进程都在单独的Java进程中运行
具体更改
新建一个临时文件目录
编辑 hdfs/core-site.xml 文件
配置 datanode 节点数
启动 hdfs
查看进程
表示HDFS已经安装成功
存活节点
步骤小结
关闭
HDFS Shell 操作
官网指南
先启动 HDFS
配置 hadoop 环境变量
成功
指令集
dfs fs 无差异
上传一个 txt 文件
创建文件夹
多层次文件夹
遍历所有文件夹
删除文件/文件夹
所上传的文件
Java 操作 HDFS 开发环境搭建
pom 文件
JavaAPI 操作 HDFS文件系统
测试通过
测试创建文件方法
查看 HDFS 文件的内容
上传文件到 HDFS
上传文件到 HDFS(带进度条)
测试通过
下载文件到本地
测试通过
查看某个目录下的所有文件
测试通过
删除文件/文件夹
作者：芥末无疆sss
链接：https://www.jianshu.com/p/e35817bdc4a8
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。