无法解析方法的 SparkSession()，我使用的依赖版本是 2.4.3

Question

我想创建一个基本的 SparkSession。但是我的 IDEA 警告我无法解析符号 'SparkSession'，而且我也找不到 org.apache.spark.sql.SparkSession。下面的代码是我在http://spark.apache.org/docs/latest/sql-getting-started.html中找到的

我尝试了一些版本的依赖，包括2.3.4、2.1.1、2.0.2、2.3.0，都是失败的。

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession()

            .builder()

            .appName("Java Spark SQL basic example")

            .config("spark.some.config.option", "some-value")

            .getOrCreate();

有我的 pom.xml：

<dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-core_2.12</artifactId>

        <version>2.4.3</version>

        <exclusions>

            <exclusion>

                <groupId>org.slf4j</groupId>

                <artifactId>slf4j-log4j12</artifactId>

            </exclusion>

        </exclusions>

    </dependency>

Answer 1

所以，你只需要添加对 Spark SQL 的依赖：<dependency>&nbsp; &nbsp; <groupId>org.apache.spark</groupId>&nbsp; &nbsp; <artifactId>spark-sql_2.12</artifactId>&nbsp; &nbsp; <version>2.4.3</version></dependency>