spark-streaming-kafka-0-8 vs spark-streaming

Question

我是大数据领域的新手，我需要做一个演示，使用火花流从Kafka主题流式传输数据，然后进行一些聚合和过滤，然后保存这些数据。我正在使用spark 2.3，我需要知道哪个版本的spark stream Kafka必须使用0.8或10，如spark-2.3文档->

https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html 提到

0.8 已弃用，10 是稳定的，但在流-kafka-0-10-集成中->

https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html

提到0.8是稳定的，10是实验性的，我使用的是Kafka 2.1。

所以我必须使用其中的哪一个

Answer 1

我使用的是Kafka 2.1。然后，您应该使用Spark的0.10 Kafka API，主要是因为拥有新的消费者API，如该页面所述。如果升级到 Spark 2.4，则同一库已升级为使用 Kafka 2.0 库，但它们将名称保留为 0.10 - SPARK-18057

Answer 2

版本 0.8 是稳定的，但 kafka 不为此版本提供技术支持。我认为，您应该继续使用最新版本。