如果你单机跑整个程序(你的机器内存8G,但你需要派排序的文件8.5G)这样子会导致程序因为内存空间不足导致panic,因此通过分片(分块)的方法,将大文件分子别在不同的机器上面进行处理,最终再由一个机器分别汇总结果并输出到文件。
加了buffer优化以后
Read done: 5.3912809sRead done: 5.4942484sRead done: 5.5322359sRead done: 5.6811895sInMemSort done: 12.5876798sInMemSort done: 12.734652sInMemSort done: 12.7486486sInMemSort done: 12.8836605sMerge done: 37.1819834sMerge done: 37.1819834sMerge done: 37.1819834s