Spark：用Java打印数据帧

Question

display(df)我想知道Java中相当于什么？

我希望结果作为字符串稍后保存在日志文件中。因此，show不会工作，因为它只是打印到控制台。

Answer 1

如果你想将df.show()输出为字符串，你应该使用df.showString()方法。参见示例：Dataset<Row> df = spark.read()                .csv("iris.csv")                .toDF("sepal.length","sepal.width","petal.length","petal.width","variety");System.out.println(df.showString(3, 0, true));-RECORD 0-------------- sepal.length | 5.1     sepal.width  | 3.5     petal.length | 1.4     petal.width  | 0.2     variety      | setosa -RECORD 1-------------- sepal.length | 4.9     sepal.width  | 3       petal.length | 1.4     petal.width  | 0.2     variety      | setosa -RECORD 2-------------- sepal.length | 4.7     sepal.width  | 3.2     petal.length | 1.3     petal.width  | 0.2     variety      | setosa  only showing top 3 rowsSystem.out.println(df.showString(3,1,false));+------------+-----------+------------+-----------+-------+|sepal.length|sepal.width|petal.length|petal.width|variety|+------------+-----------+------------+-----------+-------+|           5|          3|           1|          0|      s||           4|          3|           1|          0|      s||           4|          3|           1|          0|      s|+------------+-----------+------------+-----------+-------+only showing top 3 rows

Answer 2

您需要使用 DataFrame 的 show() 方法。您还可以通过传递参数来打印特殊数量的行：df.show(5)