错误 SparkContext：初始化 SparkContext 时出错。

Question

所以我是新来的火花。我的版本是：Spark 2.1.2，Scala 版本 2.11.8（Java HotSpot(TM) 64 位服务器 VM，Java 1.8.0_131）。我在 Windows 10 (x64) 上使用 IntellijIdea 2018 社区。每当我尝试运行一个简单的字数统计示例时，我都会收到以下错误：

18/10/22 01:43:14 错误 SparkContext：初始化 SparkContext 时出错。java.lang.IllegalArgumentException：系统内存 259522560 必须至少为 471859200。请使用 --driver-memory 选项或 Spark 配置中的 spark.driver.memory 增加堆大小。在 org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:216) 在 org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:198) 在 org.apache.spark.SparkEnv$。 create(SparkEnv.scala:330) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:174) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) at org.apache.spark。 SparkContext.(SparkContext.scala:432) 在 WordCount$.main(WordCount.scala:5) 在 WordCount.main(WordCount.scala)

PS：以wordcounter的代码为例：

import org.apache.spark.{SparkConf,SparkContext}

object WordCount {

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("mySpark").setMaster("local")

val sc = new SparkContext(conf)

val rdd = sc.textFile(args(0))

val wordcount = rdd.flatMap(_.split("\t") ).map((_, 1))

  .reduceByKey(_ + _)

for (arg <- wordcount.collect())

  print(arg + " ")

println()

//    wordcount.saveAsTextFile(args(1))

//    wordcount.saveAsTextFile("myFile")

sc.stop()

}

}

所以我的问题是如何摆脱这个错误。我已经搜索了解决方案并尝试安装不同版本的 Spark、JDK 和 Hadoop，但没有帮助。我不知道可能是哪里出了问题。

Answer 1

如果您在 IntelliJ 中，您可能会遇到很多困难，我所做的并且有效的是我在 SparkSession 之前通过执行初始化了 SparkContextval conf:SparkConf = new SparkConf().setAppName("name").setMaster("local") .set("spark.testing.memory", "2147480000")val sc:SparkContext = new SparkContext(conf)可能有更好的解决方案，因为在这里我实际上不需要初始化 SparkContext，因为它是通过初始化 SparkSession 隐式完成的。

Answer 2

转到设置 - 运行/调试配置 -> 并为 VM 选项放置-Xms128m -Xms512m -XX:MaxPermSize=300m -ea