我们平时用kafka消费数据都是新建一个消费者去kafka server读取我们指定的某个topic下的数据,但是一个消费者组中消费者有可能只能读取一部分partition,如果我想要的数据在另外的partition上不是就读不到了吗?哪位大神帮我解答一下
读取某个 topic ,其肯定会将对应的所有 partition 拿到后返回给你啊。
当你topic被一个consumer group订阅时topic下的所有partition会被分配给同属于group里的所有consumer实例,不会出现有partition未被consumer处理的情况。
例如,1个topic有3个partition,consumer group存在2个实例,会以 2 1的方式进行分配。
以上是我个人的理解
topic是你逻辑上的一个概念,partition是真正物理上的存储。在kafka中topic是你能直接操作的东西,通过它你可以获取到该topic下所有的数据。