初学Hadoop,请问文件大小小于64M时,增加节点对处理速度有影响吗?

初学Hadoop,有一部分看不懂,文件分块为64M,分片时也是64M,那么对于小于64M的文件,就只对应了一个map是吗,这样的话,集群节点个数从1个增加到6个,并行处理的还是一个机子,因此速度并没有提高是吗?
如果是128M的文件,当使用2个节点的时候速度比1个节点快,但是三个以上节点的话,速度再没有提高是吗??
不知道我的理解是否正确,希望大家赐教!!

梦里花落0921
浏览 1111回答 2
2回答

慕妹3146593

这就是一种分区策略,数据越分散,单个节点的压力等于说越小,热点数据也可以缓解,hadoop的64M可以配置的,楼主可以研究一下

www说

是的.一个分片对应一个map,一个map对应一个MapTask,map的数量和分片的数量相等.只有一个分片时,其他节点不参与计算.到hadoop2.0之后,默认的块大小是128M. 课可以修改块的大小来增多map.
打开App,查看更多内容
随时随地看视频慕课网APP