问答详情
源自:3-1 kafka基本概念

消费者如何找到想要得数据

我们平时用kafka消费数据都是新建一个消费者去kafka server读取我们指定的某个topic下的数据,但是一个消费者组中消费者有可能只能读取一部分partition,如果我想要的数据在另外的partition上不是就读不到了吗?哪位大神帮我解答一下

提问者:慕婉清4448436 2018-11-29 15:48

个回答

  • iceWang
    2019-07-03 19:44:37

    读取某个 topic ,其肯定会将对应的所有 partition 拿到后返回给你啊。

  • qq_慕神9216905
    2019-02-12 01:04:12

    当你topic被一个consumer group订阅时topic下的所有partition会被分配给同属于group里的所有consumer实例,不会出现有partition未被consumer处理的情况。

    例如,1个topic有3个partition,consumer group存在2个实例,会以 2 1的方式进行分配。

    以上是我个人的理解

  • feihuchen
    2018-12-10 23:29:26

    topic是你逻辑上的一个概念,partition是真正物理上的存储。在kafka中topic是你能直接操作的东西,通过它你可以获取到该topic下所有的数据。