spark countbykey的结果怎么输出

Question

spark countbykey的结果怎么输出

Answer 1

numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.Hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的Map数量的提示。goalSize：是输入总大小与提示Map task数量的比值，即期望每个Mapper处理多少的数据