Hdfes数据管理:
数据块副本:每个数据块3个副本,分布在2机架3节点上(容错性)

2. 心跳检测:DataNode定期向NameNode发心跳消息,刷新存在感!!

3. 二级NameNode:NameNdoe定期同步元数据映像文件到二级NameNode(secondryNameNode),一旦故障,备胎转正,成正宫娘娘!

二级namenode
心跳检测。
数据块放置 A代表64MB的数据块
secondaryNameNode为nameNode的备份
HDFS心跳检测
Hadoop默认datanode存三份,两份在一个机架上,第三份在另一个机架上
二级NameNode
数据块副本:
Secondary NameNode
定期 同步元数据映像文件和修改日志,NameNode发生故障时,备胎转正
心跳检测:DataNode定期向NameNode发送心跳消息
数据管理策略
二级namenode定期从主namenode同步元数据映像文件盒修改日志,一旦主namenode宕机,二级namenode转正成为主namenode
datenode定期向namenode发送心跳检测
默认每个数据块有三个副本,其中两个在同一个机架,一个在另一个机架来保证容错
二级NameNode
二级NameNode定期同步元数据映像文件和修改文件,NameNode发生故障时,备胎转正
心跳检测
DataNode定期向NameNode发送心跳信息
心跳机制是定时发送一个自定义的结构体(心跳包),让对方知道自己还活着,以确保连接的有效性的机制。
数据块副本(数据容错)
每个数据块有三个副本,分布在两个机架内的三个节点
其中有两个副本在同一机架内
二级NameNode定期同步元数据映像文件和修改日志
NameNode发生故障时,Secondary NameNode会切换到主的NameNode,备胎转正
每个数据块3个副本,分布在两个机架内的三个节点,
2个在同一个机架上,另外一个在另外的机架上。
心跳检测,datanode定期向namenode发送心跳消息。
secondary namenode;定期同步元数据映像文件和修改日志,namenode发生故障,secondaryname备份上位
数据管理策略
数据块的管理:每个数据块有三个副本,分布在两个机架内的三个节点,以保证数据的安全性
心跳检测:nameNode和dataNode之间存在心跳检测,dataNode会定期向NameNode发送心跳信息
二级NameNode:是对NameNOde的一个备份,当然二者会存在数据同步,以保证在NameNode故障时,节点信息不会丢失
二级NameNode
数据块副本
心跳检测-
DATaNode数据块:
每个数据块3个副本,分布在两个机架内的三个节点
二级NameNode
二级NameNode
二级NameNode
HDFS中数据管理与容错
心跳检测
HDFS中数据管理与容错