python - 根据特定条件将数据帧一列中的所有行转置为多列

Question

我想根据某些值/条件将数据框中的一列数据转换为多列。

请找到生成输入数据帧的代码

df1 = pd.DataFrame({'VARIABLE':['studyid',1,'age_interview', 65,'Gender','1.Male',
                            '2.Female',
                            'Ethnicity','1.Chinese','2.Indian','3.Malay']})

数据如下所示

请注意，我可能事先不知道列名称。但它通常遵循这种格式。我上面显示的是示例数据，实际数据可能有大约 600-700 列，并且数据以这种方式排列

我想做的是以非数字(字符)开头的值转换为数据框中的新列。它可以是一个新的数据框。

我尝试编写一个 for 循环，但由于以下错误而失败。您能帮我实现这个结果吗？

for i in range(3,len(df1)):
#str(df1['VARIABLE'][i].contains('^\d'))
    if (df1['VARIABLE'][i].astype(str).contains('^\d') == True):

通过上面的循环，我试图检查第一个字符是否是数字，如果是，则将其保留为值(例如:1,2,3等)，如果它是字符(例如:性别，种族等)，然后创建一个新列。但我猜这是一个不正确且冗长的方法

例如，在上面的示例中，列将为 Studyid、age_interview、Gender、Ethnicity。

最终输出如下

您能否告诉我是否有一种优雅的方法可以做到这一点？

Answer 1

您可以使用 groupby 执行以下操作:

m=~df1['VARIABLE'].str[0].str.isdigit().fillna(True)
new_df=(pd.DataFrame(df1.groupby(m.cumsum()).VARIABLE.apply(list).
                                    values.tolist()).set_index(0).T)
print(new_df.rename_axis(None,axis=1))

---

  studyid age_interview    Gender  Ethnicity
1       1            65    1.Male  1.Chinese
2    None          None  2.Female   2.Indian
3    None          None      None    3.Malay

说明:m是一个辅助系列，有助于分隔组:

print(m.cumsum())
0     1
1     1
2     2
3     2
4     3
5     3
6     3
7     4
8     4
9     4
10    4

然后我们将这个助手系列分组并应用列表:

df1.groupby(m.cumsum()).VARIABLE.apply(list)
VARIABLE
1                                 [studyid, 1]
2                          [age_interview, 65]
3                   [Gender, 1.Male, 2.Female]
4    [Ethnicity, 1.Chinese, 2.Indian, 3.Malay]
Name: VARIABLE, dtype: object

此时，我们将每个组作为一个列表，其中列名称作为第一个条目。 因此，我们用它创建一个数据框，并将第一列设置为索引并转置以获得我们想要的输出。