PySpark 在独立模式下连接到 MongoDB，在集群模式下失败

Question

我有一个PySpark脚本，可以从MongoDB数据库读取集合。当我在独立模式下运行脚本时，它的工作原理是：

  MONGO_URL = "mongodb://USER:PASSWORD@HOST:27017/DB_NAME.COLLECTION"

  spark = SparkSession.builder \

            .appName('TestMongoLoad') \

            .config('spark.mongodb.input.uri', MONGO_URL) \

            .getOrCreate()

    df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()

spark-submit \

--master local[*] \

--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.1 \

load_from_mongo.py 

[SUCCESS]

当我在群集上运行脚本时，它失败了：

spark-submit \

--master yarn \

--deploy-mode client \

--driver-memory 4g \

--executor-memory 2g \

--executor-cores 3 \

--num-executors 10 \

--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.1 \

load_from_mongo.py

Answer 1

正确的答案是，集群的名称（主）节点具有对MongoDB实例的防火墙访问权限，但集群中的其他节点没有。因此，显然MongoDB查询也分布在集群上。一旦我将从属节点添加到MongoDB服务器的安全组作为允许的传入连接，集群模式处理就开始工作了。