以允许将 JSON 响应快速读入单个数据帧的方式存储它们

Question

我得到了 800 个我想以某种方式存储的 JSON 响应。响应都不统一 - 有些比其他的有更多的键。

我试过了：

1. 将每个 JSON 作为文本保存到 Excel 文件中的单独行。不起作用，因为我的 JSONS 超出了 Excel 的单元格字符限制。

2. 将每个 JSON 放入一个数据框并使用json_normalize. 在我无法处理的某些列上给了我一些解码器错误。

3. 将每个 JSON 保存为 .txt 文件中的新行。这有效，但文件变得非常大 - 30Mb - 并且将所有内容转换为数据帧需要很长时间。

4. 从文本文件保存到 sqlite3 作为文本字段 - 这给了我各种错误，并且编写 SQL 语句也很麻烦。

我想过使用 MongoDB 或 Django ORM 的 JSON 字段，但这是我想做的一个简单任务的大堆栈 - 将每个 JSON 读入一个数据帧，然后将这些数据帧连接成一个单一的数据帧。

我需要一个能够快速读取数据，因为它将用于在线散景可视化。

我可以尝试其他轻量级选项吗？