Apache Flink和Apache Spark有什么异同?

Apache Flink和Apache Spark有什么异同?


喵喵时光机
浏览 1085回答 2
2回答

加米谷大数据

Apache Fink是一种大规模的数据处理工具,它以大数据量的低数据延迟和高容错性快速处理大数据。它的定义特征是它能够实时处理流数据。Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,是一种与 Hadoop 相似的开源集群计算环境。相同点:都是apache 软件基金会(ASF)旗下顶级项目,都是通用数据处理平台。它们可以应用在很多的大数据应用和处理环境。两者均可在不依赖于其他环境的情况下运行于standalone模式,或是运行在基于hadoop(YARN,HDFS)之上,由于它们均是运行于内存,所以他们表现的都比hadoop要好很多。二者的不同:Flink在进行集合的迭代转换时可以是循环或是迭代计算处理。flink的流式处理的是真正的流处理。流式数据一旦进入就实时进行处理,这就允许流数据灵活地在操作窗口。Spark 在另一方面是基于弹性分布式数据集(RDD),这(主要的)给于spark基于内存内数据结构的函数式编程。它可以通过固定的内存给于大批量的计算。

Smart猫小萌

Spark在SQL上的优化,尤其是DataFrame到DataSet其实是借鉴的Flink的。Flink最初一开始对SQL支持得就更好。
打开App,查看更多内容
随时随地看视频慕课网APP