程序外名词
Application：应用程序
应用程序就是用户编写的代码打包之后的jar包和相关的依赖
Application = Driver + Executor(分布在集群中多个节点)
Driver部分的代码:SparkConf+SparkContext
Executor部分的代码：textFile, flatMap, map 具体的业务逻辑
Driver：驱动程序
Driver是应用程序运行时候的核心，因为它附着了整个作业的调度，并且会向master申请资源来完成具体作业的功能
Driver是驱动Executor工作的，Executor是具体并发的处理数据分片
driver频繁和executor通信，所以要在同一个网段中
不要用IDE作为Driver，因为可能会出现个中各样的问题
运行Application的main函数并创建SparkContext的环境对象
创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver
除此之外，还向master注册当前应用程序，master会给它分配资源，下一步根据Action触发的job，job里面有一些列的RDD，然后从后往前推，发现如果是宽依赖的话，就划分成不同的stage，将Stage提交给底层调度器TaskScheduler，TaskScheduler拿到这个任务的集合(一个stage的内部都是完全计算逻辑一样的任务，只不过是算的数据不一样)，最后根据任务情况把任务给Executor去执行，Executor如果出问题会向Driver进行汇报，运行完毕后SparkContext关闭
Deploy mode：应用程序部署模式
区分 driver 进程在何处运行.
在 “cluster” 模式下, 框架在集群内部运行 driver.
在 “client” 模式下, 提交者在集群外部运行 driver.
举荐使用
Cluster Manager：集群管理器
获取资源的外部程序
为每个spark application，在集群中调度和分配资源的组件，比如Spark Standalone、YARN、Mesos等
在standalone模式中即为Master主节点，控制整个集群，监控worker。
Spark Application的运行不依赖于Cluster Manager
分配资源由以下内容决定：
1.spark-env.sh和spark-default.sh
2.spark-submit提交的参数
3.程序中SparkConf配置的参数
Worker：工作节点
集群中任何可以运行Application代码的节点
在Standalone模式中指的是通过slave文件配置的Worker节点，在Spark on Yarn模式下就是NoteManager节点
1个worker只为当前应用程序开启一个Exetuor，但是可以给不同的应用程序开启多个不同的Exetuor
Worker上不运行程序代码，Worker管理当前Node资源使用情况，会接收Master分配资源(计算内存)的指令，并通过ExecutorRunner来启动新的进程来开启Executor
Worker不会发机器资源信息给Master，在Master分配资源给Driver之时已经知道了，因为所有的资源都是master分配的，master肯定知道了，只要在worker发生故障的时候才会发送当前资源情况
Executor：执行者
在 worker node 上 application 启动的一个进程, 该进程运行 task 并在内存或磁盘上保存数据.
每个 application 都有其独有的 executor.executor是运行在work所在的节点上为当前应用程序而开启的，进程里面的对象，这个对象负责了具体task的运行
如何负责：通过线程池并发执行、和线程复用的方式，每个线程可以运行一个任务，任务完成之后这个线程被回收到线程池当中进行线程复用
hadoop mapreduce不能复用jvm，spark在一个节点上默认情况下为我们当前程序开启1个jvm进程，这个jvm进程里面是线程池的方式，通过线程来处理task任务，task从磁盘或者内存来读写数据
程序内名词
Spark Context
是我们通往集群唯一通道，是开发者使用集群各种功能唯一通道，是整个程序运行、调度的核心(不是指资源调度)，里面存在高层调度器、底层调度器、SchedulerBackEnd
高等调度器(DAGScheduler)：把整个作业划分成了几个小的阶段
底层调度器(TaskScheduler)：每个阶段里的任务具体怎么处理
job：作业
包含一系列Task的并行计算，在spark中一般有Action触发就会触发一个job，Action不会产生RDD
一个Application里面可以有多个jobs(不同的action)，一般一个action对应一个job，checkpoint也会导致job
Stage：阶段
每个job被分解为多个stage,每个stage其实就是一些task的集合, 这些stage 之间相互依赖
与 MapReduce 中的 map 与 reduce stage 类似
Stage内部计算逻辑完全一样，只是计算的数据不同罢了，这就是分布式并行计算
Task：任务
被TaskScheduler序列化之后送到某个executor上的工作单元；
作者：他与理想国
链接：https://www.jianshu.com/p/e14a09089444
随时随地看视频
