我在 pandas 中有两个数据框，如下所示。 EmpID 是两个数据帧中的主键。
df_first = pd.DataFrame([[1, 'A',1000], [2, 'B',np.NaN],[3,np.NaN,3000],[4, 'D',8000],[5, 'E',6000]], columns=['EmpID', 'Name','Salary'])
df_second = pd.DataFrame([[1, 'A','HR','Delhi'], [8, 'B','Admin','Mumbai'],[3,'C','Finance',np.NaN],[9, 'D','Ops','Banglore'],[5, 'E','Programming',np.NaN],[10, 'K','Analytics','Mumbai']], columns=['EmpID', 'Name','Department','Location'])
我想用 EmpID 连接这两个数据框，以便
- 如果存在且键匹配，一个数据帧中缺失的数据可以用另一个表中的值填充
- 如果存在带有新键的观察结果，则应将它们附加到结果数据框中
我使用下面的代码来实现此目的。
merged_df = pd.merge(df_first,df_second,how='outer',on=['EmpID'])
但是这段代码给了我我不想要的重复列，所以我只使用两个表中的唯一列进行合并。
ColNames = list(df_second.columns.difference(df_first.columns))
ColNames.append('EmpID')
merged_df = pd.merge(df_first,df_second,how='outer',on=['EmpID'])
现在我没有得到重复的列，但在键匹配的观察中也没有得到值(value)。
如果有人可以帮助我，我将非常感激。
问候， 凯拉什·内吉
最佳答案
看来你需要 combine_first与 set_index用于通过列 EmpID 创建的索引进行匹配:
df = df_first.set_index('EmpID').combine_first(df_second.set_index('EmpID')).reset_index()
print (df)
EmpID Department Location Name Salary
0 1 HR Delhi A 1000.0
1 2 NaN NaN B NaN
2 3 Finance NaN C 3000.0
3 4 NaN NaN D 8000.0
4 5 Programming NaN E 6000.0
5 8 Admin Mumbai B NaN
6 9 Ops Banglore D NaN
7 10 Analytics Mumbai K NaN
编辑:
对于某些列顺序需要 reindex :
#concatenate all columns names togetehr and remove dupes
ColNames = pd.Index(np.concatenate([df_second.columns, df_first.columns])).drop_duplicates()
print (ColNames)
Index(['EmpID', 'Name', 'Department', 'Location', 'Salary'], dtype='object')
df = (df_first.set_index('EmpID')
.combine_first(df_second.set_index('EmpID'))
.reset_index()
.reindex(columns=ColNames))
print (df)
EmpID Name Department Location Salary
0 1 A HR Delhi 1000.0
1 2 B NaN NaN NaN
2 3 C Finance NaN 3000.0
3 4 D NaN NaN 8000.0
4 5 E Programming NaN 6000.0
5 8 B Admin Mumbai NaN
6 9 D Ops Banglore NaN
7 10 K Analytics Mumbai NaN
关于python - 使用完全外连接连接 pandas 中的两个数据帧，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47504975/