Shuffle就是combiner吗？
来源：2-3 Map—Shuffle—Reduce
慕斯3073340
2018-12-13 17:00
Shuffle就是combiner吗？
写回答
关注
1回答
-
- qq_世人如此功利_0
- 2018-12-17 13:40:19
不是的，Combine在Shuffle之前
Combine：在Map阶段，当所有数据处理完成后，Map Task对所有临时文件进行一次合并
Shuffle：也称Copy阶段。Reduce Task从各个Map Task上远程复制一片数据，并针对某一片数据进行判断，如果其大小超过一定阀值，则写到磁盘上，否则直接放入内存中
Hadoop进阶
MapReduce原理，并实现简单的推荐
24213 学习 · 68 问题
相似问题