Flink分布式运行环境
Flink是基于Master-Slave风格的架构。
Flink集群启动时,会启动一个JobManager进程、至少一个TaskManager进程。
JobManager:1、Flink系统的协调者,它负责接收Flink Job,调度组成Job的多个Task的执行。2、收集Job的状态信息,并管理Flink集群中从节点TaskManager。
TaskManager:1、实际负责执行计算的worker,在其上执行Flink Job的一组Task。2、TaskManager负责管理其所在节点上的资源信息,比如内存、磁盘、网络,在启动的时候将资源的状态向JobManager汇报。
Client:1、用户提交一个Flink程序时,会首先创建一个Client,该Client首先会对用户提交的Flink程序进行预处理,并提交到Flink集群。2、Client会将用户提交的Flink程序组装成一个JobGraph,并且是以JobGraph的形式提交的。
Flink的架构
Flink的架构
Client:
1、用户提交一个Flink程序时,会首先创建一个Client,该Client首先会对用户提交的Flink程序进行预处理,并提交到Flink集群。
2、Client会将用户提交的Flink程序组装成一个JobGraph,并且是以JobGraph的形式提交的。
TaskManager:
1、实际负责执行计算的worker,在其上执行Flink Job的一组Task。
2、TaskManager负责管理其所在节点上的资源信息,比如内存、磁盘、网络,在启动的时候将资源的状态向JobManager汇报。
JobManager:
1、Flink系统的协调者,它负责接收Flink Job,调度组成Job的多个Task的执行。
2、收集Job的状态信息,并管理Flink集群中从节点TaskManager。
Flink是基于Master-Slave风格的架构。
Flink集群启动时,会启动一个JobManager进程、至少一个TaskManager进程。
Client
TaskManager
JobManager
Flink架构示意图
Flink分布式运行环境
flink集群启动的机构使用图
JobManager
TaskManger
Client
分布式运行环境
Client
TaskManager
JobManager
Flink架构示意图
Flink分布式运行环境
-基本架构