python - 解析字典的最快 pythonic 方式，其中值是字节字符串化的 json 对象

Question

所以我有一个字典，它是我从 Redis 获取的哈希对象，类似于以下字典:

source_data = {
   b'key-1': b'{"age":33,"gender":"Male"}', 
   b'key-2': b'{"age":20,"gender":"Female"}'
}

我的目标是从这个字典中提取所有值，并将它们作为 Python 字典列表，如下所示:

final_data = [
   {
      'age': 33,
      'gender': 'Male'
   },

   {
      'age': 20,
      'gender': 'Female'
   }
]

我尝试使用 json 解析进行列表理解:

import json
final_data = [json.loads(a) for a in source_data.values()]

它有效，但对于大型数据集，它需要太多时间。

我切换到使用这个第 3 方 json 模块 ujson根据这个benchmark哪个更快，但我没有注意到任何改进。

我试过使用多线程:

pool = Pool()
final_data = pool.map(ujson.loads, source_data.values(), chunksize=500)

pool.close()
pool.join()

我玩了一下 chunksize 但结果是一样的，仍然花费太多时间。

如果有人可以提出另一种解决方案或改进以前的尝试，那将非常有帮助，如果我可以避免使用循环，那将是理想的选择。

Answer 1

假设这些值确实是有效的 JSON，构建单个 JSON 对象进行解码可能会更快。我认为将这些值连接成一个字符串应该是安全的。

>>> new_json = b'[%s]' % (b','.join(source_data.values(),)
>>> new_json
b'[{"age":33,"gender":"Male"},{"age":20,"gender":"Female"}]'
>>> json.loads(new_json)
[{'age': 33, 'gender': 'Male'}, {'age': 20, 'gender': 'Female'}]

这取代了调用 json.loads 2000 次以上的开销，而调用 b','.join 和一个字符串格式化的开销较小操作。