kafka基本结构
另一种架构
kafka消息结构
4bytes offset 消息偏移值
4byte length 消息长度
4bytes CRC32 校验消息完整性
1bytes Magic 分布式系统常用,固定数字,用于快速判定是否为kafka消息,通过比较magic与kafka设定magic不一致则扔掉
1bytes attributes 属性,可选
8bytes timestamp 时间戳
4bytes key length key长度
KEY 无限制,总长度length限制
4bytes value length value长度
VALUE
Kafka 基本结构
Kafka 基本结构
kafka消息结构
基本结构 单个
基本结构啊
kafka消息结构
kafka基本结构
Producer Api
Consumer Api
Streams Api
Connectors Api
kafka消息结构
Kafka消息结构
kafka强依赖于zookeeper,broker信息存在zookeeper上,topic和parattion的分布也存在zookeeper上
kakfa的消息结构
kafka基本结构
kafka基本结构
kafka 消息结构
kafka with zookeeper
Kafka的基本结构图结构
Kafka消息结构
Kafka基本结构
Kafka基本结构
Kafka消息结构
OfferSet:记录消息的偏移量
Length:记录的是整条消息的长度
CRC32:校验字段,校验信息的完整性
Magic:特定数字,判断数据是否属于Kafka,不属于就直接丢弃
attributes:(可选)记录的是数据的多个属性,是一个枚举值
Timestamp:当前消息的时间戳
keyLength:key的长度
key:key的值
valueLength:value的长度
value:value的值
kafka的消息结构
CRC32 出错信息 Magic Kafka 消息判断
attribute消息属性
Kafka基本结构
展示出了作为消息队列的运作模式