python - 计算每行 DataFrame 中第一个有效值和最后一个有效值之间的差异？

Question

我试图找到 DataFrame 中第一个有效值和最后一个有效值之间的差异每行。

我有一个带有 for 循环的工作代码，正在寻找更快的东西。 这是我目前正在做的事情的一个例子:

import pandas as pd
import numpy as np

df = pd.DataFrame(
    np.arange(16).astype(np.float).reshape(4, 4),
    columns=['a', 'b', 'c', 'd'])
# Fill some NaN
df.loc[0, ['a', 'd']] = np.nan
df.loc[1, ['c', 'd']] = np.nan
df.loc[2, 'b'] = np.nan
df.loc[3, :] = np.nan

print(df)
#    a    b     c     d
# 0  NaN  1.0   2.0   NaN
# 1  4.0  5.0   NaN   NaN
# 2  8.0  NaN  10.0  11.0
# 3  NaN  NaN   NaN   NaN

diffs = pd.Series(index=df.index)
for i in df.index:
    row = df.loc[i]
    min_i = row.first_valid_index()
    max_i = row.last_valid_index()
    if min_i is None or min_i == max_i:  # 0 or 1 valid values
        continue
    diffs[i] = df.loc[i, max_i] - df.loc[i, min_i]

df['diff'] = diffs
print(df)

#    a    b     c     d  diff
# 0  NaN  1.0   2.0   NaN   1.0
# 1  4.0  5.0   NaN   NaN   1.0
# 2  8.0  NaN  10.0  11.0   3.0
# 3  NaN  NaN   NaN   NaN   NaN

Answer 1

一种方法是 back and forward fill缺失值，然后只比较第一行和最后一行。

df2 = df.fillna(method='ffill', axis=1).fillna(method='bfill', axis=1)
df['diff'] = df2.ix[:, -1] - df2.ix[:, 0]

如果你想在一行中完成，而不创建新的数据框:

df['diff'] = df.fillna(method='ffill', axis=1).fillna(method='bfill', axis=1).apply(lambda r: r.d - r.a, axis=1)