手记

Spark-Core源码精读(5)、Spark内核架构概述

前面的文章中我们分析了Spark的部署模式和提交程序的流程,也分析了Master中schedule方法在感知到资源变化或者有新的应用程序提交时,启动Driver和Executors的过程,下面我们首先对Spark的内核架构进行系统的分析,然后再用几篇文章对涉及到的各个部分进行详细的说明。

一些术语

术语描述
Application用户编写的程序包括了Driver端的SparkContext、SparkConf和运行在Executors中上的用户编写的业务逻辑代码(map、reduce、reduceByKey等)
Application jar用户编写完程序后生成的jar包
Driver执行用户编写应用程序的mian()方法并且创建SparkContext
Cluster manager管理集群的资源(方式有:standalone、Mesos、Yarn)
Deploy mode部署的模式,用来区分Driver运行在哪里,如果是cluster模式,Driver会运行在集群中,如果是client模式,Driver运行在集群外
Worker node具体运行应用程序的节点
Executor运行在Worker节点上的进程,用来运行具体的Task
Task发给Executor执行的工作单位
Job由Spark的Action级别的操作(save、collect等)触发的由一系列Task组成的并行的计算
Stage每个Job都会被划分成若干个Stage,后面会详细说明

Spark Runtime

下面我们来阐述一下Spark Runtime,即Spark的运行时。

Driver

运行应用程序的时候,具有main方法,且创建了SparkContext,是整个程序运行的调度的核心。内部会有高层调度器(DAGScheduler)和底层调度器(TaskScheduler),高层调度器把整个作业(Job)划分成几个小的阶段(Stage),底层调度器负责每个阶段内的任务(Task)该怎么去执行。由SchedulerBackend管理整个集群中为当前运行的应用程序分配的计算资源,分配的计算资源其实就是Executors,同时向Master注册当前的应用程序,如果注册成功,Master会向其分配资源。下一步根据action级别的操作出发job,job中会有一系列的RDD,从后往前推,如果是宽依赖的话就划分为不同的Stage,划分完成后提交给底层调度器TaskScheduler,TaskScheduler拿到具体的任务的集合,然后根据数据的本地性原则,把任务发放到对应的Executor上去执行,当Executor运行成功或者出现状况的话都会向Driver进行汇报,最后运行完成之后关闭SparkContext,所创建的对象也会随之关闭。

Worker

在程序运行的时候,Worker本身并不会运行程序的代码,而是管理当前节点的内存、Cpu cores等资源的使用,并接收Master的指令来分配具体的资源Executor,通过ExecutorRunner启动一个新的进程,里面运行着Executor,Executor会管理我们具体分配的进程,并监控Executor的运行状况。应用程序的计算运行在具体的Executor中,我们可以把Worker看成工头,Cluster Manager可以看成是项目经理。

Executor

Executor是运行在Worker所在的节点上为当前应用程序而开启的进程里面的一个对象,这个对象负责了具体task的运行,具体是通过线程池并发执行和复用的方式实现的。这里要补充一点:Hadoop的MR是运行在一个又一个JVM上,而JVM比较重量级且不能被复用,而Spark中是通过线程池并发执行和复用的方式执行tasks,极大的方便了迭代式计算,所以Spark的性能大大提高。每个task的计算逻辑一样,只是处理的数据不同而已。

Spark应用程序的运行并不依赖于Cluster Manager,如果应用程序注册成功,Master就已经提前分配好了计算资源,运行的过程中跟本就不需要Cluster Manager的参与(可插拔的),这种资源分配的方式是粗粒度的。

关于数据本地性,是在DAGScheduler划分Stage的时候确定的,TaskScheduler会把每个Stage内部的一系列Task发送给Executor,而具体发给哪个Executor就是根据数据本地性原则确定的,有关数据本地性的详细内容也会在后面的文章中进行说明。

下面用一张图来概括一下:(如果图看不清的话可以右键选择在新窗口中打开图像即可)

本文只是总体的概括了Spark的内核架构,具体的实现细节会在接下来的文章中结合源码进行详细的说明。

本文为原创,欢迎转载,转载请注明出处、作者,谢谢!



作者:sun4lower
链接:https://www.jianshu.com/p/f122f3ffad4c


0人推荐
随时随地看视频
慕课网APP