分布式副本一致性问题

当我们开发大数据应用时， 通常会接触到数据一致性，通常为了提高数据的高可用性，防止单点数据故障，我们会提供数据副本， 这时候冗余副本的数据库一致性问题就是需要考虑的问题。在此处整理了三种方式， 并展现了HDFS 与 ES使用的副本数据一致性的架构方案。

1 首先我们这里提供一个比较简单粗暴的方式

将请求分发到多个节点，每个节点进行数据的写入， 写完进行回复， 当有指定个节点写入成功后即算一次写入成功。

image.png

这种情况下的优缺点：
优点： 写入时间取决于最慢的那个节点的写入时间
缺点： 网络IO大， 客户端要向每个节点发送数据。

2 HDFS 副本写入一致性

HDFS副本写入一致性使用的是一种链式pipeline的形式。

image.png

这个流程是先写入第一个datanode中，然后读取namenode中其他datanode的位置，通过datanode类似pipeline形式一级一级往下写，然后一级一级向上返回，最终返回给客户端。
优点： 能保证数据的强一致性
缺点： 需要所有副本正常插入数据，才能算写成功， 效率不够高

3 ES 副本写入一致性

这个写入流程是先通过写主节点， 当主节点写入成功后， 将数据请求同时向所有的副本节点发送， 副本节点进行处理然后应答主节点， 当主节点收到所有副本节点的应答之后就开始向客户端返回本次写入成功。
优点： 性能较好， 写入时间取决于主节点写入时间+max(副本节点写入时间）
缺点： 依赖主节点， 数据量大的时候网络IO有压力。

作者：kason_zhang
链接：https://www.jianshu.com/p/87682e2f5d88