问答详情
源自:2-3 Map—Shuffle—Reduce

Shuffle就是combiner吗?

Shuffle就是combiner吗?

提问者:慕斯3073340 2018-12-13 17:00

个回答

  • qq_世人如此功利_0
    2018-12-17 13:40:19

    不是的,Combine在Shuffle之前

    Combine:在Map阶段,当所有数据处理完成后,Map Task对所有临时文件进行一次合并

    Shuffle:也称Copy阶段。Reduce Task从各个Map Task上远程复制一片数据,并针对某一片数据进行判断,如果其大小超过一定阀值,则写到磁盘上,否则直接放入内存中