问答详情
源自:2-1 HDFS概念及优缺点

数据块的大小设置成多大合适?

为什么???

提问者:codxiao 2018-06-02 21:03

个回答

  • qq_兵刃_04412779
    2018-06-03 19:33:18
    已采纳

    块的大小设置原则:最小化寻址开小。

     块越大寻址时间越短,

     传输一个由多个块的组成的文件取决于磁盘传输速率。如寻址时间约为10ms,传输速率为100MB/S,为了使寻址时间仅占传输时间的1%,块的大小设置约为100MB,默认大小是64MB,现在在实际身缠中都是128MB了,随着新一代磁盘去东区传输速率的提升,块的大小将会被设置的更大。

    注意:块的大小太大的话,一个map任务处理一个块,那任务数就变少了,作业运行速度也就变慢了。