<分区>
我可以访问一组文件(每个大约 80-800 MB)。不幸的是，每个文件中只有一行。该行只包含一个 JSON 对象(列表的列表)。将其加载并解析为更小的 JSON 对象的最佳方式是什么？
<分区>
我可以访问一组文件(每个大约 80-800 MB)。不幸的是，每个文件中只有一行。该行只包含一个 JSON 对象(列表的列表)。将其加载并解析为更小的 JSON 对象的最佳方式是什么？
最佳答案
pandas 0.21.0 模块现在支持 chunksize 作为 read_json 的一部分。您可以一次加载和操作一个 block :
import pandas as pd
chunks = pd.read_json(file, lines=True, chunksize = 100)
for c in chunks:
print(c)
关于python - 在 Python 中加载大型 JSON 列表的最佳方式是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10238340/