hadoop中什么是缓存区溢写文件

Answer 1

hadoop 3.0这套机制还不了解，2.x版本里面这一步是mapreduce必须的过程，这也是使得mr程序效率较低的一个原因之一，mr计算的中间结果会按照8:2(default)的比例决定写缓存还是写磁盘，这个spill过程使用的缓存有100M，作为对比，spark是可配置的