python - 使用 python pandas 将 csv 文件中的多行合并为一行

Question

我有一个包含多行的 csv 文件，如下所示

Id  Name  Marks1 Marks2 Marks3 Marks4 Marks5
1   ABC   10     NAN    NAN    NAN    NAN
2   BCD   15     NAN    NAN    NAN    NAN
3   CDE   17     NAN    NAN    NAN    NAN
1   ABC   NAN    18     NAN    17     NAN
2   BCD   NAN    10     NAN    15     NAN
1   ABC   NAN    NAN    16     NAN    NAN
3   CDE   NAN    NAN    19     NAN    NAN

我想使用 python 中的 pandas 将具有相同 id 和名称的行合并为一行。输出应该是:

Id  Name  Marks1 Marks2 Marks3 Marks4 Marks5
1   ABC   10     18     16     17     NAN
2   BCD   15     10     NAN    15     NAN
3   CDE   17     NAN    19     NAN    NAN

Answer 1

IIUC，DataFrame.groupby + as_index=False 与 GroupBy.first消除NaN。

#df = df.replace('NAN',np.nan) #If necessary
df.groupby(['Id','Name'],as_index=False).first()

如果您认为在某些列中可能有一对具有非空值的 Id Name，您可以使用 GroupBy.apply与 Series.ffill和 Series.bfill + DataFrame.drop_duplicates保留所有信息。

df.groupby(['Id','Name']).apply(lambda x: x.ffill().bfill()).drop_duplicates()

输出

   Id Name Marks1 Marks2 Marks3 Marks4  Marks5
0   1  ABC     10     18     16     17     NaN
1   2  BCD     15     10    NaN     15     NaN
2   3  CDE     17    NaN     19    NaN     NaN