python - 根据相似的两列对 pandas 数据框进行排序，但如果另一列具有值，则其中一列将为 NaN

Question

我有一个合并的 df，它有 2 个实验 ID - experiment_a 和 experiment_b

它们在通用命名法 EXPT_YEAR_NUM 中，但有些有附加值，没有年份而不是其他值。在这个 df 中，experiment_a 中有一个值，experiment_b = NaN，反之亦然。

即:

experiment_a    experiment_b
EXPT_2011_06     NaN
NaN              EXPT_2011_07

我如何排序才能使 experiment_a 和 _b 的升序值在一起，而不是在 experiment_a 上升序且 _b 具有所有 NaN 值，然后在 experiment_a 具有 NaN 值时与 experiment_b 升序？

这是我使用 sort_values 时发生的情况:

df = df.sort_values(['experiment_a', 'experiment_b'])

它显然只是先对 _a 进行排序，然后对 _b 进行排序。

Answer 1

我相信你需要fillna对于 Series，然后获取按 argsort 排序的值的索引最后选择 iloc - 输出是排好序的列:

print (df)
   experiment_a  experiment_b
0  EXPT_2011_06           NaN
1  EXPT_2010_06           NaN
2           NaN  EXPT_2011_07

df = df.iloc[df['experiment_a'].fillna(df['experiment_b']).argsort()]
print (df)
   experiment_a  experiment_b
1  EXPT_2010_06           NaN
0  EXPT_2011_06           NaN
2           NaN  EXPT_2011_07

详细信息:

print (df['experiment_a'].fillna(df['experiment_b']))
0    EXPT_2011_06
1    EXPT_2010_06
2    EXPT_2011_07
Name: experiment_a, dtype: object

print (df['experiment_a'].fillna(df['experiment_b']).argsort())
0    1
1    0
2    2
Name: experiment_a, dtype: int64

我测试了更多的解决方案，使用np.where 性能更好一些，但主要取决于数据:

print (df)
   experiment_a  experiment_b
0  EXPT_2011_03           NaN
1           NaN  EXPT_2009_08
2           NaN  EXPT_2010_06
3  EXPT_2010_07           NaN
4           NaN  EXPT_2011_07

#[500000 rows x 2 columns]
df = pd.concat([df] * 100000, ignore_index=True)

In [41]: %timeit (df.iloc[(np.where(df['experiment_a'].isnull(), df['experiment_b'], df['experiment_a'])).argsort()])
1 loop, best of 3: 318 ms per loop

In [42]: %timeit (df.iloc[df['experiment_a'].fillna(df['experiment_b']).argsort()])
1 loop, best of 3: 335 ms per loop

In [43]: %timeit (df.iloc[df['experiment_a'].combine_first(df['experiment_b']).argsort()])
1 loop, best of 3: 333 ms per loop

In [44]: %timeit (df.iloc[df.experiment_a.where(df.experiment_a.notnull(), df.experiment_b).argsort()])
1 loop, best of 3: 342 ms per loop