继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

【九月打卡】第19天 kafka流处理平台(一)

Miss圈
关注TA
已关注
手记 32
粉丝 3
获赞 6

课程名称kafka流处理平台

课程章节

Kafka的基本概念、Kafka的设计和结构

主讲老师

书生

课程内容

Kafka是目前主流的流处理平台,同时作为消息队列家族的一员,其高吞吐性作为很多场景下的主流选择。同时作为流处理平台,在大数据开发中,作为黏合剂串联各个系统。

Kafka应用场景

消息队列、行为跟踪、元信息监控(运维性质)、日志收集、流处理、事件源、持久性日志(commit log)

http://img1.mukewang.com/632dbf6700013a8c19200847.jpg

http://img1.mukewang.com/632dbf6800012d0d17020842.jpg

物理概念:物理层面的隔离,如数据库,服务器设备等

逻辑概念:代码/策略逻辑层面的概念

Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务

Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务

Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息

broker:物理概念,kafka集群中的每个kafka节点

topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离

partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个partition,每个partition是有序的

Replication:同一个Partition可能会有多个Replica,多个Replica之间的数据是一样的(相当于一个partition有多个副本)

Replication Leader:一个Partition的多个Replica上,需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个,其他的负责同步数据,当好备胎)

ReplicaManager:负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等

 

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP