我正在尝试将使用编写的代码转换Dataframe为DataSetAPI。问题是我将JavaRDD创建为:
final JavaRDD<String> abcJavaRdd= jsc.textFile("/path/to/textfile");
但是createDatasetsqlContext类的方法期望RDD<T>类型而不是JavaRDD<T>类型。
SQLContext sqlc = new SQLContext(jsc);
....
....
Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);
Dataset<Abc> abcDataset= sqlc.createDataset(abcJavaRdd, abcEncoder);
上面的代码中的最后一行无效。我想知道如何org.apache.spark.rdd.RDD从' org.apache.spark.api.java.JavaRDD'类型创建' '类型吗?
我在Mapr群集上将Java 1.8与apache spark 1.6.1一起使用。
相关分类