Spark 无法分配请求的地址：服务驱动程序在 16 次重试后失败

Question

我有一个由 3 个工人组成的 Spark 集群。(worker-1, worker-2, worker-3) 与 Spark 2.0.2 一起运行。

Spark Master 在 worker-1 上启动。

我使用以下脚本提交我的申请：

#!/bin/bash

sparkMaster=spark://worker-1:6066

mainClass=my.package.Main

jar=/path/to/my/jar-with-dependencies.jar

driverPort=7079

blockPort=7082

deployMode=cluster

$SPARK_HOME/bin/spark-submit \

  --conf "spark.driver.port=${driverPort}"\

  --conf "spark.blockManager.port=${blockPort}"\

  --class $mainClass \

  --master $sparkMaster \

  --deploy-mode $deployMode \

  $jar

当我的驱动程序在 worker-1（Worker + Master）上启动时，一切正常，并且我的应用程序使用所有 worker 正确执行