json - 使用 jq 处理巨大的 json 数组文件

Question

我有相对较小的对象的巨大(~7GB)json 数组。

是否有相对简单的方法来过滤这些对象而不将整个文件加载到内存中？

--stream 选项看起来合适，但我不知道如何将 [path,value] 流折叠到原始对象。

Answer 1

jq 1.5 有一个流解析器。 jq FAQ给出了如何将 JSON 对象的顶级数组转换为其元素流的示例:

$ jq -nc --stream 'fromstream(1|truncate_stream(inputs))'
[{"foo":"bar"},{"foo":"baz"}]
{"foo":"bar"}
{"foo":"baz"}

这可能足以满足您的目的，但值得注意的是 setpath/2 可能会有所帮助。以下是制作传单流的方法:

jq -c --stream '. as $in | select(length == 2) | {}|setpath($in[0]; $in[1])'

jq 手册中提供了更多信息和文档:
https://stedolan.github.io/jq/manual/#Streaming