Spark Standalone 加载文件失败

Question

我在 HPC 集群上以“独立”模式（无 HDFS）安装了 spark 2.3.1。我使用 pySpark 并尝试进行简单的 RDD 操作（这些在 pyspark 中）：

rdd = sc.textFile("/scratch-lustre/wpurwant/_log-20181107-pyspark.log")

rdd.count()

这个 Spark 程序曾经可以工作；我没有做任何改变软件的事情。而且我肯定知道上面引用的文件确实存在。我可以ls和cat它。

我很困惑为什么上面的命令会突然产生这个错误（删除了前面的部分）：

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.

: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/scratch-lustre/wpurwant/_log-20181107-pyspark.log

    at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)

    at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)

    at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315)

    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)

    at scala.Option.getOrElse(Option.scala:121)

    at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)

    at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)

    at scala.Option.getOrElse(Option.scala:121)

    at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)

    at org.apache.spark.api.python.PythonRDD.getPartitions(PythonRDD.scala:54)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)

    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)

    at scala.Option.getOrElse(Option.scala:121)

    at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)

    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2099)

Answer 1

得到了答案。Spark 不喜欢以下划线开头的文件名！将文件重命名为不以下划线开头的作品！