hadoop 中 map/reduce的原理？

Question

hadoop 中 map/reduce的原理？

Answer 1

首先hadoop框架要求程序员将函数分成两部分，即map和reduce函数。map阶段：就是将输入通过map函数处理得出中间结果并通过hadoop框架分配到不同的reduce。reduce阶段：就是将中间结果通过reduce函数处理得到最后的结果。以wordcount为例，在map阶段，map函数在每个单词后面加上一个1；在reduce阶段，reduce函数将相同单词后面的1都加起来。其中hadoop框架实现过程中的排序，分配等，当然这些也可以通过自定义的函数来控制。