Pandas read_csv low_memory和dtype选项

Question

Pandas read_csv low_memory和dtype选项

打电话的时候

df = pd.read_csv('somefile.csv')

我明白了：

/Users/josh/anaconda/envs/py27/lib/python2.7/site-packages/pandas/io/parsers.py:1130:DtypeWarning：列（4,5,7,16）有混合类型。在导入时指定dtype选项或设置low_memory = False。

为什么该dtype选项与此相关low_memory，以及为什么会False帮助解决此问题？

Answer 1

我有一个约400MB文件的类似问题。设置low_memory=False为我做了诀窍。首先做一些简单的事情，我会检查你的数据帧是否不比你的系统内存大，重新启动，在继续之前清除RAM。如果您仍然遇到错误，那么值得确保您的.csv文件正常，请快速查看Excel并确保没有明显的损坏。破碎的原始数据可能会造成严重破坏......