请问如何使用“ json”模块一次读取一个JSON对象？

Question

我有一个千兆字节的JSON文件。该文件由每个不超过几千个字符的JSON对象组成，但是记录之间没有换行符。

使用Python 3和json模块，如何一次从文件读取一个JSON对象到内存？

数据在纯文本文件中。这是类似记录的示例。实际记录包含许多嵌套的字典和列表。

以可读格式记录：

{

    "results": {

      "__metadata": {

        "type": "DataServiceProviderDemo.Address"

      },

      "Street": "NE 228th",

      "City": "Sammamish",

      "State": "WA",

      "ZipCode": "98074",

      "Country": "USA"

    }

  }

}

实际格式。新记录一个接一个地开始，没有任何中断。

{"results": { "__metadata": {"type": "DataServiceProviderDemo.Address"},"Street": "NE 228th","City": "Sammamish","State": "WA","ZipCode": "98074","Country": "USA" } } }{"results": { "__metadata": {"type": "DataServiceProviderDemo.Address"},"Street": "NE 228th","City": "Sammamish","State": "WA","ZipCode": "98074","Country": "USA" } } }{"results": { "__metadata": {"type": "DataServiceProviderDemo.Address"},"Street": "NE 228th","City": "Sammamish","State": "WA","ZipCode": "98074","Country": "USA" } } }

Answer 1

如果您的JSON文档包含一个对象列表，并且您想一次读取一个对象，则可以为该作业使用迭代JSON解析器ijson。仅当需要解码下一个对象时，它才会从文件中读取更多内容。请注意，您应该将它与YAJL库一起使用，否则您可能看不到任何性能提高。话虽如此，除非您的文件很大，否则将其完全读取到内存中，然后使用普通的JSON模块进行解析可能仍然是最好的选择。