猿问

Spark Java API:如何将JavaRDD转换为RDD类型

我正在尝试将使用编写的代码转换Dataframe为DataSetAPI。问题是我将JavaRDD创建为:


final JavaRDD<String> abcJavaRdd= jsc.textFile("/path/to/textfile");

但是createDatasetsqlContext类的方法期望RDD<T>类型而不是JavaRDD<T>类型。


SQLContext sqlc = new SQLContext(jsc);

....

....

Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);

Dataset<Abc> abcDataset= sqlc.createDataset(abcJavaRdd, abcEncoder);

上面的代码中的最后一行无效。我想知道如何org.apache.spark.rdd.RDD从' org.apache.spark.api.java.JavaRDD'类型创建' '类型吗?


我在Mapr群集上将Java 1.8与apache spark 1.6.1一起使用。


倚天杖
浏览 175回答 1
1回答
随时随地看视频慕课网APP

相关分类

Java
我要回答