python - 按原样在 Pandas Dataframe 中插入字典(JSON)

Question

我有一个用例，我需要将数据框的现有列转换为 JSON 并仅存储在一列中。

到目前为止我试过这个:

import pandas as pd
import json
df=pd.DataFrame([{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]) #Random data
jsonresult1=df.to_json(orient='records')
# '[{"a":"sjdfb","b":"jsfubs"},{"a":"ouhbsdv","b":"cm osdn"}]'

但我希望数据只是字典的字符串表示，而不是列表。所以我尝试了这个:

>>>jsonresult2=df.to_dict(orient='records')
>>>jsonresult2
# [{'a': 'sjdfb', 'b': 'jsfubs'}, {'a': 'ouhbsdv', 'b': 'cm osdn'}]

这就是我希望数据看起来的样子，但是当我尝试将其设为数据框时，数据框再次采用 2 列 [a,b] 的格式。这些字典对象的字符串表示形式将以所需格式将列数据插入到数据框中。

>>>for i in range(len(jsonresult2)):
...    jsonresult3.append(str(jsonresult2[i]))
...
>>> jsonresult3
["{'a': 'sjdfb', 'b': 'jsfubs'}", "{'a': 'ouhbsdv', 'b': 'cm osdn'}"]

这正是我想要的。当我将其推送到数据框时，我得到:

 >>> df1
                              0
 ++++++++++++++++++++++++++++++++++++
 0  |   {'a': 'sjdfb', 'b': 'jsfubs'}
 1  |{'a': 'ouhbsdv', 'b': 'cm osdn'}

但我觉得这是一种非常低效的方式。如何使它以优化的方式显示和工作？我的数据可以超过 1000 万行。这花费的时间太长了。

Answer 1

我会先转换成字典...制作成系列...然后应用 pd.json.dumps

pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

或者更短的代码

df.apply(pd.json.dumps, 1)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

我们可以通过自己构造字符串来提高性能

v = df.values.tolist()
c = df.columns.values.tolist()

pd.Series([str(dict(zip(c, row))) for row in v], df.index)

0       {'a': 'sjdfb', 'b': 'jsfubs'}
1    {'a': 'ouhbsdv', 'b': 'cm osdn'}
dtype: object

---

如果内存有问题，我会将 df 保存到 csv 中并逐行读取它，同时构建一个新的系列或数据框。

df.to_csv('test.csv')

这比较慢，但解决了一些内存问题。

s = pd.Series()
with open('test.csv') as f:
    c = f.readline().strip().split(',')[1:]
    for row in f:
        row = row.strip().split(',')
        s.set_value(row[0], str(dict(zip(c, row[1:]))))

---

或者如果您可以将df 保存在内存中，您可以跳过文件导出

s = pd.Series()
c = df.columns.values.tolist()
for t in df.itertuples():
    s.set_value(t.Index, str(dict(zip(c, t[1:]))))