如果写流程出错了，怎么处理
来源：2-2 HDFS写流程和读流程
燃烧吧蔬菜
2020-05-02 15:55
如果datanode1 在传给datanode2 的过程中出现错误，这个是怎么解决的呢
写回答
关注
1回答
-
- 业余奶茶品鉴师
- 2020-11-19 22:41:01
关闭管线。
将已经发送到管道中，但是还没有确认的数据重新写回到缓冲区，保证数据不会丢失。
所有的namenode重新分配一个版本号
重新选举一个主datanode
计算所有datanode中最小的数据块，重新分配
重建管线，重新写入
宕掉的datanode恢复后由于版本号不同会被剔除掉。
写完文件，namenode发现副本数量不够，会在其他数据节点上再创建一个新的副本。
Hadoop基础及演练
与大数据密不可分的Hadoop框架，你值得学习
52268 学习 · 64 问题
相似问题