Java 如何在 Intellij 中找到 spark、Hadoop 和 AWS jars

Question

我正在用 Java 在 IntelliJ 上运行 Spark 应用程序。我在 pom.xml 中添加了 spark、Hadoop 和 AWS 依赖项，但不知何故没有加载 AWS 凭证。

我得到的确切错误是 Caused by: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint

下面是我的 .java 和 pom.xml 文件。

SparkSession spark  = SparkSession

                    .builder()

                    .master("local") .config("spark.hadoop.fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")            .config("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2")

                    .config("spark.hadoop.fs.s3a.awsAccessKeyId", AWS_KEY)

                    .config("spark.hadoop.fs.s3a.awsSecretAccessKey", AWS_SECRET_KEY)

                    .getOrCreate();

            JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

            Dataset<Row> dF = spark.read().load("s3a://bucket/abc.parquet");

这是我的 pom.xml

<dependencies>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-core_2.11</artifactId>

        <version>2.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-sql_2.11</artifactId>

        <version>2.3.2</version>

    </dependency>

    <dependency>

        <groupId>com.amazonaws</groupId>

        <artifactId>aws-java-sdk</artifactId>

        <version>1.11.417</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-aws</artifactId>

        <version>3.1.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-hdfs</artifactId>

        <version>3.1.1</version>

    </dependency>

我被困在这里一段时间并尝试了所有可用的解决方案。我在我的环境中添加了导出 AWS 密钥。

考虑到没有像 python 或 Scala 这样的 java spark shell 并且 pom.xml 是唯一的方法，你有没有其他方法可以为 java 指定 jars 或键？

Answer 1

发现您只需要在 SparkContext 中添加 AWS 凭证，而不必在 SparkSession 中添加。JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());sc.hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);sc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);