如何在Java中打印整个数据帧而不会耗尽内存?
Dataset<Row> df = ...
我知道那件事:
df.show()
将显示数据帧,但是对于足够大的数据帧,这可能会耗尽内存。
我知道我可以使用以下内容限制内容:
df.show(rowCount, false)
但是想要打印整个数据帧,我不想限制内容...
我试过:
df.foreachPartition(iter -> {
while(iter.hasNext()){
System.out.println(rowIter.next().mkString(",");)
}
});
但这将打印在每个相应的节点上,而不是在驱动程序上...
如果有什么方法可以打印驱动程序中的所有内容而不会耗尽内存?
小怪兽爱吃肉
杨魅力
相关分类