hadoop2.2.0如何确定map任务在哪个节点上运行？

Question

我通过将输入文件分为四份使得hadoop程序运行时有四个map,但是我无法确定到底哪个map在哪个节点上运行。Web UI显示如下：

我的集群nodeManager有两个，这里好像表明四个map都运行在了centos2节点上。试了多次都是同一个结果。

为什么map任务不能分配到多个节点上呢？还有，我的配置文件基本上是默认的，也就是说mapreduce.job.maps为默认值2, mapreduce.tasktracker.map.tasks.maximum也为默认值2, 个人觉得一个设置了每个job的task数为2, 一个设置了每个tasktracker(每个节点)的任务数不超过2,不可能存在一个节点上四个map的情况啊？这两个配置参数究竟是如何影响程序的？

Answer 1

1.首先，你不能确定map运行在哪个机器上，hadoop有内部有算法决定。其实你可以通过hadoop job -list-active-trackers看看tasktracker是不是都正常2.为什么有4个map任务呢？一个map分为不同阶段，比如SETUP、CLEANUP，所以其中两个attempt对应这两个，其余两个才是真正的map逻辑。