spark的foreach为什么很慢?

Question

spark的foreach为什么很慢

Answer 1

foreach是action操作，其执行实际上不是只执行foreach这一个操作，而是从上一个action操作之后的所有操作都开始执行，所以实际上并不是foreach慢，而是你之前的操作很慢。建议在程序运行中打开spark任务管理界面，查看到底是哪个stage运行慢，是否有数据倾斜或者内存不足等问题