HDFS写流程

客户端向NameNode发起写数据请求

分块写入DataNode节点，DataNode自动完成副本备份

DataNode向NameNode汇报存储完成，NameNode通知客户端

HDFS读流程

客户端向NameNode发起读数据请求

NameNode找出距离最近的DataNode节点信息

客户端从DataNode分块下载文件

两个思考问题 ：

    1.数据块的大小设置为多少合适为什么？

       hadoop数据块的大小一般设置为128M，如果数据块设置的太小，一般的文件也会被分割为多个数据块，在访问的时候需要查找多个数据块的地址，这样的效率很低，而且如果数据块设置太小的话，会消耗更多的NameNode的内存；而如果数据块设置过大的话，对于并行的支持不是太好，而且会涉及系统的其他问题，比如系统重启时，需要重新加载数据，数据块越大，耗费的时间越长。   

    2.NameNode有哪些容错机制，如果NameNode挂掉了怎么办？

       NameNode容错机制，目前的hadoop2可以为之为HA（高可用）集群，集群里面有两个NameNode的节点，一台为主节点，一台为从节点（备用节点），两者的数据时刻保持一致，当主节点出现问题时，备用节点可以自动切换，用户基本感知不到，这样就避免了NameNode的单点问题。

HDFS写流程：

    写流程：
1.客户端向NameNode发起写数据

    2.分块写入DataNode节点，DataNode自动完成副本备份

    3.DataNode向NameNode汇报存储完成，NameNode通知客户端

  HDFS读流程：

1.客户端向NameNode发起读数据的请求；   
 2.NameNode找出距离最近的DataNode节点信息返回给客户端 ；
 3.客户端从DataNode上面分块的下载文件；

HDFS写流程和读流程

hadoop有主节点和一套备用节点，主节点挂了就直接用备用节点。解决namenode的单点问题。

hdfs 写流程：

hdfs读流程：

———————————————————

• 问题回顾：

1. 数据块的大小设置为多少比较合适？

   一般设置为128MB,设置过小，访问时数据时效率不高，对NameNade的内存消耗严重。数据块设置过大，降低对并行的支持

   会使数据重启的时间延长。

2. 如果NameNode挂掉了怎么办？

   配用高可用集群ha存在两个NameNode节点，一个处于active请求状态，另一个处于standby备份状态，两者数据时刻保持一致

HDFS 的读流程

HDFS 的写流程

（1） 首先客户端向NameNode发起写数据请求，NameNode保存的各个DataNode状态，检索的DataNode1、2、3有空间可以存储

（2）客户端将分块儿数据写入DataNode，DataNode完成自动备份

（3）DataNode向NameNode汇报存储完成，NameNode通知客户端

hdfs 写流程：

1. 客户端向NameNode 发起写数据请求

2. 分块写入DataNode节点，DataNode自动完成副本备份

3. DataNode向NameNode汇报存储完成，NameNode通知客户端

hdfs 读流程：

1. 客户端向NameNode发起读流程

2. NameNode找出距离最近的DataNode节点信息

3. 客户端从DataNode分块下载文件
   

数据块的大小：128M

HDFS 读流程

HDFS 读流程

HDFS 写流程

HDFS 写流程

HDFS读流程

HDFS写流程

数据块大小设置多少合适；

namenode如果挂掉怎么办。

hdfs读文件：

1、客户端向namenode发起读数据请求

2、namenode返回给客户端文件的元数据信息（哪些数据块存储在哪些datanode）

3、客户端从datanode下载数据块，并合并数据块

hdfs写流程：

1、客户端向namenode发起写数据请求，namenode返回datanode信息

2、客户端将文件分块，将第一块写进datanode，各个datanode自动完成数据块备份

3、datanode向namenode汇报完成第一块的存储，namenode通知客户端

4、开始写第二块第三块，重复步骤2和3

1、数据块一般设置为128M;

2、nemenode通常通过HA做高可用：主节点和备用节点

2123123

HDFS读流程

拉开距离看见了

数据块一般分为128M

namenode挂掉了怎么办：现在集群里面有两个namenode的节点，一台为主节点，另一台为备用节点，两台节点的数据始终保持一致，主节点出现问题时，备用节点自动切换

HDFS写流程： 客户端向NameNode发起写数据请求，分块写入DataNode节点，DataNode自动完成副本备份.DataNode向NameNode汇报存储完成，NameNode通知客户端

HDFS读流程： 客户端向NameNode发起读数据请求，NameNode找出最近的DataNode节点信息，客户端从DataNode分块下载文件。

HDFS读流程

HDFS的构成以及写流程

写流程简述

HDFS写流程

HDFS读流程