问答详情
源自:5-2 WordCount案例分析

关于Map 局部聚合

Map的局部聚合虽然是可选项,执行局部聚合与不执行局部聚合,对于全局数据的清洗到聚合的全流程来说,性能有影响嘛?

提问者:小小新_Not_Found 2019-12-26 10:57

个回答

  • 徐老师
    2020-01-05 21:59:00
    已采纳

    提前进行map的局部聚合,会提高性能,因为聚合后map端通过shuffle发送到reduce端的数据就少了,对应的就减少了网络传输的时间