数据可靠性:
Nimbus挂掉,换台机器重启就可
supervisor挂掉,将上面的worker迁移走就可以
worker挂掉,利用ack机制保证数据未处理成功,会通知spout重新发送.需要对记录通过msgId进行去重.也就是spout发送tuple时指定msgId,
spout也挂掉: 可以将数据记录到外部存储,设置checkpoint。
我的笔记我的笔记我的笔记2
我的笔记我的笔记
Spout数据故障
故障处理3
故障处理2
故障处理:
数据可靠性
Spout数据保障
Nimbus挂掉,换台机器重启就可 supervisor挂掉,将上面的worker迁移走就可以 worker挂掉,利用ack机制保证数据未处理成功,会通知spout重新发送.需要对记录通过msgId进行去重.也就是spout发送tuple时指定msgId, spout也挂掉: 可以将数据记录到外部存储,设置checkpoint。