==[图]Spark系列(四)整体架构分析

Spark系列(四)整体架构分析 - 会飞的纸盒 - 博客园
http://www.cnblogs.com/jianyuan/p/Spark%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E5%88%86%E6%9E%90.html

Paste_Image.png

说明

Driver端流程说明(Standalone模式)

使用spark-submit提交Spark应用程序Application.

通过反射的方式创建和构造一个DriverActor进程(Driver进程).

SparkContext初始化，构造DAGScheduler和TaskScheduler.

每执行到一个Action操作就会创建一个job,该job会提交到DAGScheduler，划分为多个stage然后为每个stage创建一个TaskSet.

TaskScheduler负责连接Master并向Master注册Application.

TaskScheduler把TaskSet中的每一个task提交到executor上执行(task分配算法).

SparkContext的初始化在所有Executor完成反向注册后才完成，并继续执行提交的应用程序.

Master和Worker流程说明

Master接收到Application注册请求后会使用自己的资源调度算法，在Spark集群的Work上为这个Application启动多个Executor.

Executor启动之后反注册到TaskScheduler.

Executor每次收到一个task都会用TaskRunner来封装task,然后从线程池里取出一个线程执行这个task.

TaskRunner将需执行的算子及函数、拷贝、反序列化然后执行task.

作者：葡萄喃喃呓语
链接：https://www.jianshu.com/p/71f07dcebd3d
。