Replication 相关概念。

Kafka 包含 Broker, Topic, Partition.

Kafka 包含 Producer, Consumer, Consumer Group。对于同一个 topic ，众多 group 里面只有一个 consumer 可以消费该消息。

producer 消息和数据生产者，向kafka的一个topic发布消息的进程

consumer:消息和数据的消费者，订阅数据并且处理其发布的消息的进程

ConsumerGroup:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息

broker:物理概念，kafka集群中的每个kafka节点

topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离

partition:物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个partition，每个partition是有序的

Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的（相当于一个partition有多个副本）

Replication Leader：一个Partition的多个Replica上，需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个，其他的负责同步数据，当好备胎)

ReplicaManager：负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等

replication

broker

consumer group

kafka的基本概念

基本概念3

基本概念2

基本概念1

kafka基本概念

Producer：消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务

Consumer：消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务

Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息

Broker：物理概念，kafka集群中的每个kafka节点

Topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离

Partition：物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的

Replication：同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。副本的意思

Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互

ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等

分区副本概念

kafka基本概念

kafka相关基本概念

mark here 

Broker 物理概念，kafka集群中的每个kafka结点

Topic 逻辑概念 kafka消息的类别，对数据进行区分、隔离

Partition 物理概念 kafka下数据存储的基本单元 一个topic的数据，会被分散存储到多个partition，每个partition是有序的

replication 同一个partition可能会有多个replica，多个replica之间数据是一样的

replication leader

replicamanager

概念，生产者 消费者 group

同一个group中，只有一个comsumer可以消费该消息

1. producer

2. consumer

3. broker：kafka节点

4. consumer group

5. topic: message type 消息分类

6. partition 消息最小拆分

7. replication 副本

8. replication leader 与pro和con交互

9. replicaManager 维护副本读取、切换

producer：

• 向 kafka 的一个 topic 发送消息
  

consumer：

• 订阅某个 topic 并消费数据
  

consumer group：

• 对于同一个 topic 会广播给不同的 group，一个 group 中只有一个 consumer 可以消费该消息
  

broker：

• kafka 集群中的物理节点
  

topic：

• （主题）消息的分类，对数据进行区分，隔离
  

partition：

• 数据存储的基本单元，一个 topic 里面的数据会被切分成很多个 partition，每一个 partition 会被存放到一个 broker 里面（当然，一个 broker 里面会存储多个不同 topic 的 partition），每一个 partition 内部是有序的

replication：

• partition 的副本，一个 partition 存在多个副本也就是多个 replication

replication leader：

• 多个 replication 只有一个 leader，负责和 producer 和 consumer 交互

replicaManager：

• 负责管理当前 broker 上所有 partition 和 replication 的信息，处理 kafkaController 发来的请求，副本状态的切换，消息的添加和读取

同一个partiton会有多个replica，多个replica之间的数据是一样的。

 一个partition的多个replica中，只有replication leader负责与producer和mer交互

一个partition 放在一个broker中.

一个topic的数据会被分散存储到多个partition，每一个partition内是有序的

物理概念 broker

物理概念 

逻辑概念

kafka 术语-3

kafka 术语-2

Kafka 概念

Kafka基本概念

Kafka基本概念