请问combineByKey求平均值的时候为什么有c1 c2两个partition

来源:4-7 KeyValue对RDDs(二)

慕粉0058038984

2018-03-11 21:10

http://img.mukewang.com/5aa52a870001837810720208.jpg

怎么确定有几个分片

写回答 关注

1回答

  • 贝加尔湖畔v
    2018-03-18 13:48:33

    c1和c2不是代表只有两个partition,可以把这两个当做输入的参数,类似于reduce函数。c1代表前几个partition已经累计计算到的值,c2代表新partition的值。

Spark从零开始

本课程旨在让同学们了解Spark基础知识,掌握Spark基础开发.

52724 学习 · 81 问题

查看课程

相似问题