将 DataFrame 保存到文件时出现 Pandas 内存错误

Question

我终于设法在我学校的一台大机器（512G 内存）上加入了两个大 DataFrame。目前我们两个人在使用同一台机器，另一个人使用大约120G的内存，我调用垃圾收集器后我们得到了420G。

我想将 DataFrame 保存到内存中，这样我就可以轻松地重用它并将其移动到另一台机器上，我尝试将其导出到镶木地板文件，但出现内存错误...

那么，Dataframe当内存已接近满时，我怎样才能设法将它转储到硬盘驱动器上以重新使用它而不会遇到内存错误？

谢谢

Answer 1

有几种选择。您可以腌制数据框，也可以使用 hdf5 格式。这些将占用更少的内存。此外，当您下次加载它时，它会比其他格式更快。