python - 将任意嵌套的字典转换为列表的列表

Question

我正在尝试将嵌套的字典数据结构转换为平面列表列表，但我无法想出一个好的解决方案。这是我开始使用的数据以及我想要生成的输出。我想要做的是提出一个 flatten 函数，无论输入数据嵌套的深度如何，该函数都可以工作。

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

output_array_1 = flatten(input_dict_1)

# output_array_1 = [["gender", "age", "average_height", "average_weight"],
#                   ["male", "adult", 62, 200],
#                   ["male", "youth", 50, 120],
#                   ["female", "adult", 55, 130],
#                   ["female", "youth", 45, 80],
#                   ["female", "infant", 15, 35]]

input_dict_2 = {"data": [
    {"animal": "bunny",
     "data": [
         {"color": "white",
          "data": [
              {"age": "adult",
               "data": {"speed": 30, "teeth": 24}},
              {"age": "youth",
               "data": {"speed": 20, "teeth": 24}}]}]},
    {"animal": "horse",
     "data": [
         {"color": "brown",
          "data": [
              {"age": "adult",
               "data": {"speed": 120, "teeth": 6}}]}]}]}

output_array_2 = flatten(input_dict_2)

# output_array_1 = [["animal", "color", "age", "speed", "teeth"],
#                   ["bunny", "white", "adult", 30, 24],
#                   ["bunny", "white", "youth", 20, 24],
#                   ["horse", "brown", "adult", 120, 6]]

如果您提前知道结构的深度，这并不太难，但我坚持如何编写适用于任意嵌套输入数据的单个函数。

输入数据始终符合几个条件:

1. 单个输入中的级别数始终相同 数据结构。例如，在更长的版本中 input_dict_1 示例永远不会有第三个分组级别 超越性别和年龄。
2. 在每个级别，下一个子组是值 名为 data 的键。

必须有一个优雅的、Pythonic 的解决方案来解决这个问题。有什么想法吗？

(这里的上下文是我正在尝试将从 API 接收到的 JSON 转换为 CSV 文件，但这是唯一困难的部分。此外，我知道已经有很多关于处理 dict 的问题了列表，但我找不到使用类似输入/输出结构的列表。)

Answer 1

在这种问题中，递归是你的 friend 。作为第一个示例，我们可以编写一个函数来从您的输入中获取我们需要的列名称，

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

def get_col_names( d, l=None ):
    if l==None: l=[]
    if isinstance(d['data'], list):
        l.extend( k for k in d['data'][0].keys() if k != 'data' )
        get_col_names( d['data'][0], l )
    else:
        l.extend( d['data'].keys() )
    return l

上面的例子只是为了让你思考递归。我们可以在一个函数中获取列名并访问我们想要的所有键值对，

def walk_dict( d, e=None, l=None, cn=None ):
    if e==None: e={}
    if l==None: l=[]
    if cn==None: cn=[]
    for k,v in d.items():
        if k != 'data':
            if k not in cn: cn.append(k)
            e[k] = v
    if isinstance(d['data'], list):
        for dp in d['data']:
            walk_dict( dp, e, l, cn )
    else:
        for k,v in d['data'].items():
            if k not in cn: cn.append(k)
            e[k] = v
        l.append( e.copy() )
    return l, cn

在上面的函数中，e表示当前正在收集的行，l是迄今为止解析的所有行的列表，cn是列名称的列表。最后一些代码来构建您想要的列表列表，

rows, col_names = walk_dict( input_dict_1 )
output_array_1 = [col_names]
for d in rows:
    output_array_1.append( [d[name] for name in col_names] )

那么这是怎么回事？ e 跟踪当前行的键和值。这意味着它只会有 4 个键值对(对于此输入)。我们希望在遍历 "age":"adult" 和 "age":"youth" 时保持 "gender":"male" 不变>。这非常适合字典。最初，每行中的条目将是无序的。一旦构建了 col_names ，我们就可以使用它按照我们喜欢的顺序提取每行中的条目。

为什么我们使用e.copy()而不是仅仅e？这涉及到 Python 的一个方面，如果您没有意识到这一点，可能会非常令人困惑。如果您只是将 e 附加到列表中，您将获得对对象 e 的引用。如果更改e，列表中的引用将指向更改后的e。这将导致所有行都等于最后一行的键:值对。但是通过执行e.copy()，我们告诉Python创建一个新对象并将其附加到列表中。然后我们可以更新e而不影响列表中已有的内容。

col_names 将根据输入字典的嵌套进行排序，最终字典键(即 average_height 和 average_weight )除外访问字典键的顺序是任意的。