用Python读取Pandas中CSV文件时的UnicodeDecodeError

Question

用Python读取Pandas中CSV文件时的UnicodeDecodeError

我正在运行一个处理3万份类似文件的程序。他们中的随机数正在停止并产生这个错误.。

   File "C:\Importer\src\dfman\importer.py", line 26, in import_chr
     data = pd.read_csv(filepath, names=fields)
   File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f     return _read(filepath_or_buffer, kwds)
   File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read     return parser.read()
   File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in read
     ret = self._engine.read(nrows)
   File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 1028, in read
     data = self._reader.read(nrows)
   File "parser.pyx", line 706, in pandas.parser.TextReader.read (pandas\parser.c:6745)
   File "parser.pyx", line 728, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:6964)
   File "parser.pyx", line 804, in pandas.parser.TextReader._read_rows (pandas\parser.c:7780)
   File "parser.pyx", line 890, in pandas.parser.TextReader._convert_column_data (pandas\parser.c:8793)
   File "parser.pyx", line 950, in pandas.parser.TextReader._convert_tokens (pandas\parser.c:9484)
   File "parser.pyx", line 1026, in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10642)
   File "parser.pyx", line 1046, in pandas.parser.TextReader._string_convert (pandas\parser.c:10853)
   File "parser.pyx", line 1278, in pandas.parser._string_box_utf8 (pandas\parser.c:15657)
 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xda in position 6: invalid    continuation byte

这些文件的来源/创建都来自同一个地方。进行导入的最佳纠正方法是什么？

Answer 1

read_csv采取encoding处理不同格式的文件的选项。我主要用read_csv('file', encoding = "ISO-8859-1")，或者另一种encoding = "utf-8"用于阅读，以及一般情况下utf-8为to_csv.您还可以使用以下几种方法中的一种alias像这样的选项'latin'而不是'ISO-8859-1'(见Python文档，也适用于您可能遇到的许多其他编码)。看见相关PADAS文件, Python文档中CSV文件的示例，还有很多相关的问题。一个好的背景资源是每个开发人员都应该了解unicode和字符集。.要检测编码(假设文件包含非ascii字符)，可以使用enca(见手册页)或file -i(Linux)或file -I(OSX)(见手册页).