如何在java中使用spark Dataframe读取没有列名的文本文件

我正在使用Spark DataFrame读取一个文本文件,每一行由一个空格分隔,如下所示(路径:)d:/data/kmeans_data.txt:


0.0 0.0 0.0

0.1 0.1 0.1

0.2 0.2 0.2

9.0 9.0 9.0

9.1 9.1 9.1

9.2 9.2 9.2

我尝试使用DataFrame读取此文本文件:


Dataset<Row> dataset = spark.read().text("file:/d:/data/kmeans_data.txt");

但是,它调用了一个IllegalArgumentException:


线程“main”中的异常 java.lang.IllegalArgumentException:字段“features”不存在。可用字段:org.apache.spark.sql.types.StructType$$anonfun$apply$1.apply(StructType.scala:267) 处的值,位于 org.apache.spark.sql.types.StructType$$anonfun$apply$1。 apply(StructType.scala:267) at scala.collection.MapLike$class.getOrElse(MapLike.scala:128) at scala.collection.AbstractMap.getOrElse(Map.scala:59) at org.apache.spark.sql.types .StructType.apply(StructType.scala:266) at org.apache.spark.ml.util.SchemaUtils$.checkColumnType(SchemaUtils.scala:40) at org.apache.spark.ml.clustering.KMeansParams$class.validateAndTransformSchema( KMeans.scala:93) 在 org.apache.spark.ml.clustering.KMeans.validateAndTransformSchema(KMeans.scala:254) 在 org.apache.spark.ml.clustering.KMeans。


如何DataFrame在java中使用spark读取文本文件?如果没有列名和标签列,是否应该创建一个?


波斯汪
浏览 262回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Java