Storm Kafka Spout 的延迟非常高

Question

我正在使用 Apache Storm 1.1.2 和 Kafka 0.11 在 Java 9 中构建 Spring 应用程序

我注意到在高负载（每秒 2500 条消息）下，kafka spout 的延迟非常高。Kafka Spout 的并行度提示为 3。滞后几乎等于 Spout Committed Offset。

这个滞后设置了拓扑每秒可以摄取的最大消息量的上限，这不是很大。有谁知道解决方案？

更新：我还注意到，即使有 10 个工人和 4 个并行提示，负载也不会在不同的 kafka spout 执行程序之间分配，我可以在 UI 中看到。主题有8个分区

Answer 1

请参阅Apache Storm Kafka Spout 滞后问题