笔记目录
HDFS概述及设计目标
HDFS架构
HDFS副本机制
HDFS环境搭建
HDFS shell
Java API 操作HDFS
HDFS 文件读写流程
HDFS优缺点
1. HDFS概述及设计目标
1.1 什么是HDFS
Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS；
源自于Google的GFS论文
发表于2003年，HDFS是GFS的克隆版
1.2 HDFS的设计目标
非常巨大的分布式文件系统
运行在普通廉价的硬件上
易扩展、为用户提供性能不错的文件存储服务
更多的请看官网....
2. HDFS架构
1个Master(NameNode/NN) 带N个Slaves(DataNode/DN)
一个文件会被拆分成多个Block，blocksize：128M，eg：130M的文件==>2 block(128M和2M)
NN:
1). 负责客户端的请求响应
2).负责元数据(文件名称、副本系数、Block存放的DN)的管理DN:
1). 存储用户的文件对应的数据块(Block)
2). 要定期向NN发送信条信息，汇报本身及其所有的block信息，健康状况
A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software. The architecture does not preclude running multiple DataNodes on the same machine but in a real deployment that is rarely the case.建议：NN和DN部署在不同的节点上
图片.png
3. HDFS副本机制
Replication factor：副本因子/副本系数 ；处理文件的最后一个block，其他的block大小都相同。
图片.png
HDFS副本存放策略(面试的一个考点)
如下图，假设一个集群有两个机架，橙色的代表客户端，假设文件有3个副本，那么第一个副本存放在客户端所在的机器上，另外两个副本存放在与客户端不在同一个机架上的随机的两台机器上。分机架的好处是：保证容错性。
图片.png
4. HDFS环境搭建
版本：Hdaoop-2.6.0-cdh5.7.0
官方文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/
下载地址：http://archive.cloudera.com/cdh5/cdh/5/
具体的HDFS环境搭建参考另一篇笔记：在Ubuntu下安装和搭建Hadoop环境(伪分布式环境)
简单步骤：
1). jdk安装解压: tar -zxvf jdk-8u181-linux-x64.tar.gz -C ~/app
添加到系统环境变量： vim /etc/profile （或 vim ~/.bashrc ）
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH使环境变量生效：source /etc/profile （或 source ~/.bashrc）
验证java是否配置成功：java -version
2). 安装SSHUbuntu :
sudo apt-get install ssh
sudo apt-get install rsyncCentOS
sudo yum install ssh配置免密码登录
ssh-keygen -t rsa #一路回车就行cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证是否免密码登录是否成功：
hadoop@Dell:~$ ssh localhost # 接下来输入yes
3). 下载并解压Hadoop
下载：到cdh官网直接下载
解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app
4). Hadoop配置文件的修改(hadoop_home/etc/hadoop/)hadoop-env.sh
/home/hadoop/app/jdk1.8.0_181
core-site.xml
<!-- hadoop1.X的端口是9000,2.X以后的是8020--> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property><!-- hadoop默认的存储地址是临时文件夹，在linux下临时文件夹每次重启都会被删除，所以需要添加一个临时文件 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/tmp</value> </property>
hdfs-site.xml
<!-- 由于是伪分步单节点。因此副本系数设置为1--> <property> <name>dfs.replication</name> <value>1</value> </property>
5). 启动hdfs
格式化文件系统（仅第一次执行，）：bin/hdfs namenode -format
启动 hdfs：sbin/start-dfs.sh
验证是否启动成功：
jps ：多次三个进程：NameNode 、DataNode、SecondaryNameNode
浏览器：http://localhost:50070
6). 停止hdfs
sbin/stop-dfs.sh
至此，HDFS环境搭建完成！
7). 把hadoop配置到环境变量中: vim ~/.bashrc
为了方便后期使用hadoop，需要把hadoop配置到系统环境变量中，后期不管在哪个控制台目录下都可以直接使用hadoop shell命令。
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存之后一定记得执行：source ~/.bashrc 使配置文件生效。
5. HDFS shell
HDFS常用的shell命令
ls mkdir put get mv cp ......shell 例子
1). 把当前目录下的hello.txt文件上传到hdfs的根目录下中：hadoop fs -put hello.txt /
图片.png
2). 查看hdfs根目录下的文件：hadoop fs -ls /
图片.png
3). 查看刚刚上传的hello.txt文件的内容：hadoop fs -text /hello.txt 或 hadoop fs -cat /hello.txt
图片.png
4). 创建文件夹：hadoop fs -mkdir /test
图片.png
5). 递归创建文件夹： hadoop fs -mkdir -p /test/a/b
6). 递归展示文件：hadoop fs -ls -R /
图片.png
7). 从hdfs上下载文件到本地：hadoop fs -get /hello.txt （也可以在浏览器中下载文件或查看文件的信息）
8).如果在使用中遇到不会是用的，可以直接在控制台上敲：hadoop fs 然后回车，会出现提示信息 ......
6. Java API 操作HDFS
1） IDEA + Maven创建Java工程
（注：IDEA和Maven的安装请看另外一篇笔记：Ubuntu 16.04安装IDEA和maven
创建一个新项目（Maven项目），如下图，注意选上标红的选项，之后下一步。
image.png
输入项目名称，然后点击下一步
image.png
选中标红的部分选择maven安装的路径（可不选，使用默认的） ，之后一直下一步到结束。
image.png
至此，Java项目创建完毕！
image.png
添加HDFS相关依赖
在pom.xml中，安装下图进行添加hadoop的HDFS相关依赖
<!-- cdh版本的hadoop仓库--> <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories>
image.png
开发Java API操作HDFS文件
略
7. HDFS 文件读写流程(面试考点)
这里详见 其他简友的笔记
8. HDFS优缺点
1）** 优点**
数据冗余、硬件容错
处理流式访问
适合存储大文件
可构建在廉价的机器上
2）** 缺点**低延迟的数据访问
不适合小文件存储（因为太多的小文件会浪费大量的NameNode的资源）
作者：艳阳景
链接：https://www.jianshu.com/p/32278b300f51
随时随地看视频
