消费者如何找到想要得数据

来源:3-1 kafka基本概念

慕婉清4448436

2018-11-29 15:48

我们平时用kafka消费数据都是新建一个消费者去kafka server读取我们指定的某个topic下的数据,但是一个消费者组中消费者有可能只能读取一部分partition,如果我想要的数据在另外的partition上不是就读不到了吗?哪位大神帮我解答一下

写回答 关注

3回答

  • iceWang
    2019-07-03 19:44:37

    读取某个 topic ,其肯定会将对应的所有 partition 拿到后返回给你啊。

  • qq_慕神9216905
    2019-02-12 01:04:12

    当你topic被一个consumer group订阅时topic下的所有partition会被分配给同属于group里的所有consumer实例,不会出现有partition未被consumer处理的情况。

    例如,1个topic有3个partition,consumer group存在2个实例,会以 2 1的方式进行分配。

    以上是我个人的理解

  • feihuchen
    2018-12-10 23:29:26

    topic是你逻辑上的一个概念,partition是真正物理上的存储。在kafka中topic是你能直接操作的东西,通过它你可以获取到该topic下所有的数据。

Kafka流处理平台

作为模块解耦和大数据处理黏合剂的不二之选Kafka,你值得拥有!

33838 学习 · 49 问题

查看课程

相似问题