KafkaAvroDeserializer - NoClassDefFoundError:

Question

我正在使用 spark 从主题 kafka 获取数据。我必须使用 KafkaAvroDeserialaizer 来反序列化 avro 数据。我这样配置 kafka 消费者：

 kafkaParams.put("bootstrap.servers", "10.0.4.215:9092");

 kafkaParams.put("key.deserializer", io.confluent.kafka.serializers.KafkaAvroDeserializer.class);

 kafkaParams.put("value.deserializer",io.confluent.kafka.serializers.KafkaAvroDeserializer.class);

 // kafkaParams.put("key.convert", com.datamountaineer.streamreactor.connect.converters.source.JsonSimpleConverter.class);

 //kafkaParams.put("value.convert",com.datamountaineer.streamreactor.connect.converters.source.JsonSimpleConverter.class);

 kafkaParams.put("group.id", "use_a_separate_group_id_for_each_stream");

 kafkaParams.put("auto.offset.reset", "earliest");

 kafkaParams.put("enable.auto.commit", false);

但是当我执行代码时，我在线程中有这个异常异常

“流开始” java.lang.NoClassDefFoundError: io/confluent/common/config/ConfigException

有人能告诉我在哪里可以找到这个类的定义吗？例如 maven 依赖 ext。

Answer 1

您需要以下依赖项：组：'io.confluent'，名称：'common-config'，版本：yourConfluentVersion

Answer 2

我有同样的问题。我使用了5.1.0融合平台版本。我检查了兼容性kafka <-> confluent，发现在相同级别的兼容性中还有更新的版本。我更新了版本5.1.1，它为我解决了这个问题。举个例子：