json - 使用 jq，将任意 JSON 扁平化为分隔符分隔的扁平字典

Question

我希望使用 jq 将 JSON 转换为分隔符分隔的扁平化结构。

有人尝试这样做。例如，Flatten nested JSON using jq .

但是，如果 JSON 包含数组，则该页面上的解决方案将失败。例如，如果 JSON 是:

{"a":{"b":[1]},"x":[{"y":2},{"z":3}]}

上面的解决方案将无法将上面的内容转换为:

{"a.b.0":1,"x.0.y":2,"x.1.z":3}

此外，我正在寻找一种还允许使用任意定界符的解决方案。例如，假设空格字符是定界符。在这种情况下，结果将是:

{"a b 0":1,"x 0 y":2,"x 1 z":3}

我希望通过 CentOS 7 中的 Bash (4.2+) 函数访问此功能，如下所示:

flatten_json()
{
    local JSONData="$1"
    # jq command to flatten $JSONData, putting the result to stdout
    jq ... <<<"$JSONData"
}

该解决方案应该适用于所有 JSON 数据类型，包括 null 和 boolean。例如，考虑以下输入:

{"a":{"b":["p q r"]},"w":[{"x":null},{"y":false},{"z":3}]}

它应该产生:

{"a b 0":"p q r","w 0 x":null,"w 1 y":false,"w 2 z":3}

Answer 1

如果您将数据流式传输，您将获得所有叶值的路径和值的配对。如果不是一对，则路径标记该路径处的对象/数组定义的结尾。使用您发现的 leaf_paths 只会为您提供通往真实叶子值的路径，因此您会错过 null 甚至 false 值。作为一个流，你不会遇到这个问题。

有很多方法可以将它组合成一个对象，我偏向于在这些情况下使用 reduce 和赋值。

$ cat input.json
{"a":{"b":["p q r"]},"w":[{"x":null},{"y":false},{"z":3}]}

$ jq --arg delim '.' 'reduce (tostream|select(length==2)) as $i ({};
    .[[$i[0][]|tostring]|join($delim)] = $i[1]
)' input.json
{
  "a.b.0": "p q r",
  "w.0.x": null,
  "w.1.y": false,
  "w.2.z": 3
}

---

这里将相同的解决方案分解了一些，以便为解释正在发生的事情留出空间。

$ jq --arg delim '.' 'reduce (tostream|select(length==2)) as $i ({};
    [$i[0][]|tostring] as $path_as_strings
        | ($path_as_strings|join($delim)) as $key
        | $i[1] as $value
        | .[$key] = $value
)' input.json

使用 tostream 将输入转换为流，我们将接收多个对/路径值作为我们过滤器的输入。有了这个，我们可以将这些多个值传递到 reduce 中，它旨在接受多个值并用它们做一些事情。但在我们这样做之前，我们希望仅通过对 (select(length==2)) 过滤这些对/路径。

然后在 reduce 调用中，我们从一个干净的对象开始，并使用从路径派生的键和相应的值分配新值。请记住，reduce 调用中产生的每个值都用于迭代中的下一个值。将值绑定(bind)到变量不会更改当前上下文，赋值会有效地“修改”当前值(初始对象)并将其传递。

$path_as_strings 只是路径，它是字符串和数字到字符串的数组。 [$i[0][]|tostring] 是我用来替代 map 的简写，当我要映射的数组不是当前数组时。这更紧凑，因为映射是作为单个表达式完成的。而不是必须这样做才能获得相同的结果:($i[0]|map(tostring))。外括号通常可能不是必需的，但它仍然是两个单独的过滤器表达式而不是一个(以及更多文本)。

然后从那里我们使用提供的分隔符将该字符串数组转换为所需的键。然后为当前对象分配适当的值。