Kafka 面向数据流的生产-转换-存储-消费 的流处理平台。它是消息队列,但是它不仅仅是消息队列。
主要是第三点吧,数据流产生的时候就可以进行处理。
三个特性:
1、发布和记录消息流,作为消息队列
2、数据流存储平台
3、在数据产生时,对消息进行处理
作用:
1、数据处理上
2、数据传输
linkedIn开源:
分布式数据同步系统 Databus
高性能计算引擎 Cubert
java异步处理框架 Parseq
kafkal流处理平台
kafka:
可以发布和订阅数据的流
可以存储数据流的平台,有错误容忍
当数据产生的时候可以进行处理
kafka作用域两类应用:
实时数据流管道
作为流处理器,可以订阅或者发布或者存储数据流
kafka的作用
LinkedIn开源工具
分布式数据同步系统Databus
高性能计算引擎Cubert
Java异步处理框架
Kafka流处理平台
发布订阅记录数据的流,类似于消息队列
数据流存储平台 容错
当数据产生时就可以处理
构建数据管道
实时流处理
数据处理数据传输
数据流动数据存储 数据处理
Kafka流处理平台
LinkedIn开源
实时流的管道pipeline
实时流的处理
Kafka的应用有两类:
real-time streaming pipelines that reliably get data between systems or applications
Building rea-time streaming applications that transform or react to the streams of data
streaming platform有三个key capabilities:
- Public and subscribe to streams of records, similar to a message queue or enterprise messaging system
- Store streams records in a fault-tolerant durable way
- Process streams of records as they occur (实时处理)
流处理 消息队列 实时数据流管道 实时数据处理 数据流存储 发布和订阅
2018-11-30
两个特性:
1.用于两个关系紧密的系统或应用之间的实时流管道传输;
2.用于处理实时流数据。
Kafka可以说是,面向数据流的生产,转换,存储,消费为整体的处理平台。
用处 数据处理和数据传输
三处特性!
Kafka流处理平台的发展
LinkedIn开源的项目
kafka is generally used for two broad classes of applications
streaming platform has three key capabilities
kafka流处理平台发展历史
kafka是什么?