spark集群部署

1. spark三种分布式部署模式

Spark支持的主要的三种分布式部署方式分别是standalone、spark on mesos和 spark on YARN。standalone模式，即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。它是Spark实现的资源调度框架，其主要的节点有Client节点、Master节点和Worker节点。而yarn是统一的资源管理机制，在上面可以运行多套计算框架，如map reduce、storm等根据driver在集群中的位置不同，分为yarn client和yarn cluster。而mesos是一个更强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn。

1.1 standalone框架

Standalone模式下，集群启动时包括Master与Worker，其中Master负责接收客户端提交的作业，管理Worker。根据作业提交的方式不同，分为driver on client 和drvier on worker。如下图7所示，上图为driver on work模式，下图为driver on client模式。两种模式的主要不同点在于driver所在的位置。

图7 standalone模式

由于standalone模式较简单，这里不再详述。

1.2 yarn集群模式

Apache yarn是apache Hadoop开源项目的一部分。设计之初是为了解决mapreduce计算框架资源管理的问题。到haodoop 2.0使用yarn将mapreduce的分布式计算和资源管理区分开来。它的引入使得Hadoop分布式计算系统进入了平台化时代，即各种计算框架可以运行在一个集群中，由资源管理系统YRAN进行统一的管理和调度，从而共享整个集群资源、提高资源利用率。
　　YARN总体上也Master/slave架构——ResourceManager/NodeManager。前者(RM)负责对各个NodeManager(NM)上的资源进行统一管理和调度。而container是资源分配和调度的基本单位，其中封装了机器资源，如内存、CPU、磁盘和网络等，每个任务会被分配一个Container，该任务只能在该Container中执行，并使用该Container封装的资源。NodeManager的作用则是负责接收并启动应用的container、而向RM回报本节点上的应用Container运行状态和资源使用情况。ApplicationMaster与具体的Application相关，主要负责同ResourceManager协商以获取合适的Container，并跟踪这些Container的状态和监控其进度。如下图8所示为yarn集群的一般模型。

图８ yarn集群一般部署

　　Spark在yarn集群上的部署方式分为两种，yarn client（driver运行在客户端）和yarn cluster（driver运行在master上），driver on master如下图9所示。

图9 yarn cluster部署图

• (1)   Spark Yarn Client向YARN中提交应用程序，包括Application Master程序、启动Application Master的命令、需要在Executor中运行的程序等；

• (2)   Resource manager收到请求后，在其中一个node manager中为应用程序分配一个container，要求它在container中启动应用程序的Application Master，Application master初始化sparkContext以及创建DAG Scheduler和Task Scheduler。

• (3)   Application master根据sparkContext中的配置，向resource manager申请container，同时，Application master向Resource manager注册，这样用户可通过Resource manager查看应用程序的运行状态

• (4)   Resource manager 在集群中寻找符合条件的node manager，在node manager启动container，要求container启动executor，

• (5)   Executor启动后向Application master注册，并接收Application master分配的task

• (6)   应用程序运行完成后，Application Master向Resource Manager申请注销并关闭自己。
  Driver on client如下图10所示：

  
  

  

  图10 yarn client部署图

• (1)   Spark Yarn Client向YARN的Resource Manager申请启动Application Master。同时在SparkContent初始化中将创建DAG Scheduler和TASK Scheduler等

• (2)   ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext，只与SparkContext进行联系进行资源的分派

• (3)   Client中的SparkContext初始化完毕后，与Application Master建立通讯，向Resource Manager注册，根据任务信息向Resource Manager申请资源(Container)

• (4)   当application master申请到资源后，便与node manager通信，要求它启动container

• (5)   Container启动后向driver中的sparkContext注册，并申请task

• (6)   应用程序运行完成后，Client的SparkContext向ResourceManager申请注销并关闭自己。
  　　从下图11：Yarn-client和Yarn cluster模式对比可以看出，在Yarn-client（Driver on client）中，Application Master仅仅从Yarn中申请资源给Executor，之后client会跟container通信进行作业的调度。如果client离集群距离较远，建议不要采用此方式，不过此方式有利于交互式的作业。

  
  

  

  图11 Yarn-client和Yarn cluster模式对比

  \

1.3 mesos集群模式

Mesos是apache下的开源分布式资源管理框架。起源于加州大学伯克利分校，后被twitter推广使用。Mesos上可以部署多种分布式框架，Mesos的架构图如下图12所示，其中Framework是指外部的计算框架，如Hadoop，Mesos等，这些计算框架可通过注册的方式接入mesos，以便mesos进行统一管理和资源分配。

图12 mesos一般部署图

　　在 Mesos 上运行的 framework 由两部分组成：一个是 scheduler ，通过注册到master 来获取集群资源。另一个是在 slave 节点上运行的executor进程，它可以执行 framework 的 task 。 Master 决定为每个framework 提供多少资源，framework 的 scheduler来选择其中提供的资源。当 framework同意了提供的资源，它通过master将 task发送到提供资源的slaves 上运行。Mesos的资源分配图如下图13。

图13 mesos资源分配图

• (1)   Slave1 向 Master 报告，有4个CPU和4 GB内存可用

• (2)   Master 发送一个 Resource Offer 给 Framework1 来描述 Slave1 有多少可用资源

• (3)   FrameWork1 中的 FW Scheduler会答复 Master，我有两个 Task 需要运行在 Slave1，一个 Task 需要<2个CPU，1 GB内存="">，另外一个Task需要<1个CPU，2 GB内存="">

• (4)   最后，Master 发送这些 Tasks 给 Slave1。然后，Slave1还有1个CPU和1 GB内存没有使用，所以分配模块可以把这些资源提供给 Framework2
  　　Spark可作为其中一个分布式框架部署在mesos上，部署图与mesos的一般框架部署图类似，如下图14，这里不再重述。

  
  

  

  图14 spark on mesos部署图

1.4 spark 三种部署模式的区别

在这三种部署模式中，standalone作为spark自带的分布式部署模式，是最简单也是最基本的spark应用程序部署模式，这里就不再赘述。这里就讲一下yarn和mesos的区别：

• (1)   就两种框架本身而言，mesos上可部署yarn框架。而yarn是更通用的一种部署框架，而且技术较成熟。

• (2)   mesos双层调度机制，能支持多种调度模式，而Yarn通过Resource　Mananger管理集群资源，只能使用一种调度模式。Mesos 的双层调度机制为：mesos可接入如yarn一般的分布式部署框架，但Mesos要求可接入的框架必须有一个调度器模块，该调度器负责框架内部的任务调度。当一个framework想要接入mesos时，需要修改自己的调度器，以便向mesos注册，并获取mesos分配给自己的资源， 这样再由自己的调度器将这些资源分配给框架中的任务，也就是说，整个mesos系统采用了双层调度框架：第一层，由mesos将资源分配给框架；第二层，框架自己的调度器将资源分配给自己内部的任务。

• (3)   mesos可实现粗、细粒度资源调度，可动态分配资源，而Yarn只能实现静态资源分配。其中粗粒度和细粒度调度定义如下：
  　　粗粒度模式（Coarse-grained Mode）：程序运行之前就要把所需要的各种资源（每个executor占用多少资源，内部可运行多少个executor）申请好，运行过程中不能改变。
  　　细粒度模式（Fine-grained Mode）：为了防止资源浪费，对资源进行按需分配。与粗粒度模式一样，应用程序启动时，先会启动executor，但每个executor占用资源仅仅是自己运行所需的资源，不需要考虑将来要运行的任务，之后，mesos会为每个executor动态分配资源，每分配一些，便可以运行一个新任务，单个Task运行完之后可以马上释放对应的资源。每个Task会汇报状态给Mesos slave和Mesos Master，便于更加细粒度管理和容错，这种调度模式类似于MapReduce调度模式，每个Task完全独立，优点是便于资源控制和隔离，但缺点也很明显，短作业运行延迟大。
  　　从yarn和mesos的区别可看出，它们各自有优缺点。因此实际使用中，选择哪种框架，要根据本公司的实际需要而定，可考虑现有的大数据生态环境。如我司采用yarn部署spark，原因是，我司早已有较成熟的hadoop的框架，考虑到使用的方便性，采用了yarn模式的部署。

2. spark在CDH上的部署过程

CDH的全称Cloudera’s Distribution Including Apache Hadoop，是cloudera公司的发行版。下面我们简要介绍下在CDH集群上部署spark的过程。

2.1 安装对应版本的scala

1. 将下载好的scala.tar.gz解压到/usr/local/scala，可自己指定解压路径。

2. 在/etc/profile中添加SCALA_HOME，并添加到PATH路径。

3. 运行scala -version查看已安装的scala版本。

2.2 安装Spark

1. 将spark的压缩包解压到自己的指定目录，如/opt/spark。

2. 在/etc/profile中添加SPARK_HOME，并添加到PATH路径。

3. 在/etc/profile中添加HDFS_HOME，并添加到PATH路径，利用cm自动安装的CDH机器，hadoop路径一般在/opt/cloudera/parcels/CDH/lib/hadoop。

4. 在/etc/profile中添加HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop（指明hadoop的配置文件地址）。

5. 将$HADOOP_HOME/etc/hadoop下的hdfs配置文件hdfs-site.xml拷贝一份到spark的conf目录下。由于spark要与HDFS协作，所以要告知hadoop的配置信息。

6. 配置spark/conf下的slaves文件，将各节点的主机名添加进去，以告诉spark该集群有哪些节点。如：spark-master、spark-slave1、spark-slave2.

7. 配置spark/conf下的spark-env.sh，在底部添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_65
export SCALA_HOME=/usr/local/scala/scala-2.11.7
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_HOST=10.202.8.114
SPARK_DRIVER_MEMORY=1G

1. 运行sbin/start-all.sh启动，如果能进入master：8088则搭建成功。

2. spark-submit提交Pi程序到集群测试，提交脚本如下：

sudo -u hdfs /opt/spark/spark-2.0.0/bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--executor-memory 512m
--num-executors 3
--driver-java-options "-XX:PermSize=512M -XX:MaxPermSize=1024m"
/opt/spark/spark-2.0.0/examples/jars/spark-examples_2.11-2.0.0.jar  &

提交成功后，可以在CDH管理界面。进入yarn的“应用程序”查看运行信息。

作者：ZPPenny
链接：https://www.jianshu.com/p/330ec1347423