NameNode总结

DataNode介绍

SecondaryNameNode介绍

NameNode介绍

HDFS体系结构详解

NameNode总结：

DataNode介绍：

SecondaryNameNode介绍：

NameNode介绍：

HDFS包含：

11

NameNode:

整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树，文件/目录的元信息，每个文件对应的数据块列表，并且还负责接收用户的操作请求。
包含以下文件：fsimage 元数据镜像文件（某一时刻快照）, 

eidts 用户操作记录, 

seed_txid 事务id存储edits索引 (重启时检查是否一致), 

VERSION hdfs版本信息

位置: core-xml设定目录dfs/name/current内

默认保存路径hdfs-default.xml中 dfs.namenode.name.dir属性控制

SNN (Secondary NameNode)

定期把edits文件中内容合并到fsimage, 即checkpoint

HA架构没有SNN, 由Standby NameNode实现

DataNode

真实文件存储服务

 文件创建时间，什么啥时候进行的修改等操作。

fsimage: 文件系统镜像 ， 源数据镜像文件，某一时刻Namenode内存中的源数据信息，也可理解为快照,是由edit内容信息合并完成，合并卫checkpoint

seondaryNamenode 触发1个小时  100万次操作

edits: 存储用户的操作记录，包括修改，不包括查询

seed_txid: 默认为0， 存储edits 后面的序号，倒序查找，方便恢复

如果一个文件 是一个G  三个节点怎么保存

namenode存储的元数据：

1、文件与block的关系

2、block与datanode的关系

如果一个文件默认大小不足一个block，仍然会占用一个block，但是实际占用的存储空间是文件本身的大小，而不是block的大小

secondarynamenode:定期把edits文件内容同步到fsimage（某一时刻的文件系统快照）中，默认情况下是一小时同步一次或者修改次数达到100万次时同步一次

fsimage: 文件系统镜像 ， 源数据镜像文件，某一时刻Namenode内存中的源数据信息，也可理解为快照

edits: 存储用户的操作记录，包括修改，不包括查询

seed_txid: 默认为0， 存储edits 后面的序号，倒序查找，方便恢复

seondaryNamenode 触发

1. 1个小时

2. 100万次操作

namenode的总结

维护的两份关系

不足128mb的就是文件的实际大小，可以在dfs-default.xml中可以调整大小

数据的副本数量默认为3，可以在hdfs-site.xml文件中的dfs.replication修改

两个条件，距上次checkpoint一个小时，或者hdfs操作了一百万次，两个条件哪个先触发就先 执行

HA（高可用）架构是没有secondarynamenode的，有两个namenode时，activited namenode负责和用户交互，standby namenode负责文件的合并操作

hdfs-defaulg.xml：保存namenode本地存储文件的路径

namenode在本地磁盘保存的文件

namenode的信息都在内存存放，本地磁盘也会保存一份信息，否则namenode格式化会丢

本地磁盘包含以下文件：见图（seen_txid）

这些文件保存在tmp.dir/dfs/name/current/

fsimage：相当于快照、镜像，保存的是某一时刻的元数据信息，与内存中的信息不同步，定时生成。

edits：记录用户的操作，不保存查询

seen_txid：存储的是edits文件后面的数字，当namenode重启时，按照存储的数字顺序执行edits文件，这样就得到了原信息。namenode格式化时，为0。如果对应的数字没有文件，namenode就不会启动了，日志文件会有记录，为了保持数据的一致性，所以不会启动，强制启动就可能造成数据的丢失

version：版本信息，可以查看命名空间id，集群id

namenode，secondarynamenode，datanode分别在集群上启动，

namenode，secondarynamenode在主节点上启动，datanode在从节点上启动

namenode