关于排序文件大小与程序内存大小的问题
来源：3-6 排序结果以及优化
飘荡着呢
2019-11-07 21:56
有一点没有想明白，从程序的结构来看是将800M的数据都读到内存里才进行的排序，如果数据再大呢？会不会因为数据量大的原因导致程序崩溃呢，还是我有什么理解不对的地方，请老师解惑。
写回答
关注
1回答
-
- 醒说信做_陈满
- 2020-01-20 11:57:18
如果你单机跑整个程序（你的机器内存8G，但你需要派排序的文件8.5G）这样子会导致程序因为内存空间不足导致panic，因此通过分片（分块）的方法，将大文件分子别在不同的机器上面进行处理，最终再由一个机器分别汇总结果并输出到文件。
搭建并行处理管道，感受GO语言魅力
通过搭建并行数据处理管道，展示go语言在并发编程方面的优势
19359 学习 · 78 问题
相似问题