接着上篇的Schedule调度内容,本篇我们来看看Driver,Application向Worker发送launch以后到底发生了什么。先来看看下面这张图;
Worker启动进程原理图
我们来简单分析一下这张图的运行原理;
1.首先,Master向Worker发送一个launchDriver的请求,Worker接收到请求后创建出一个DriverRunner对象;
2.然后紧接着利用创建的DriverRunner对象调用其start()方法,启动一个线程;
3.在该线程内部,首先创建了一个本地目录,然后拷贝我们要运行的Jar文件到本地,接着创建出一个ProcessBuilder对象出来;
4.最后利用ProcessBuilder对象启动Driver进程;
5.当Driver进程启动完成之后,向当前启动DriverRunner线程的Worker节点发送一个Driver启动的状态;
6.当前Worker在向Master发送Driver的启动情况,并清理相关内存信息,到此我们的Driver启动就完成了;
7.关于Application的启动过程,与Driver的启动基本一致,只有最后一步不同,当Executor启动完成向Worker发送状态改变信息,然后将其向Driver进行注册;
分析完上面的基本原理之后,我们先来看看Driver启动的源码是如何实现的;
worker启动Driver
在DriverRunner线程中启动Driver进程
启动完成,发送状态改变信息
以上即为Driver的整个启动过程,下面我们来看看Application的启动过程源码实现;
启动Executor
通过ProcessBuilder启动Executor进程
发送状态改变信息
总结:以上就是我们的Worker启动Driver,Application的整个过程;到这里,我们已经了解到整个Spark启动初始化的过程,接下来的内容我们来正式分析我们的Spark作业的运行流程是什么样子,包括DAGScheduler的调度,TaskScheduler中的TaskSet的任务分配算法的具体实现;欢迎关注。
如需转载,请注明:
作者:z小赵
链接:https://www.jianshu.com/p/85e0346b9657