python - 获取 Pandas 中每个标识符的时间序列的最新非 NaN 值

Question

我一直在研究如何获取唯一标识符的 DataFrame 的最新非 NaN 值。所以我有一个带有 ID、值和年份列的 Pandas DataFrame，类似于:

  |  ID | Values | Year
-------------------------
0 |  A  |  4.0   | 2016 
1 |  B  |  NaN   | 2016
2 |  C  |  NaN   | 2016
3 |  D  |  1.0   | 2016
4 |  A  |  2.0   | 2015
5 |  B  |  2.0   | 2015
6 |  C  |  1.0   | 2015
7 |  D  |  3.0   | 2015
8 |  A  |  2.0   | 2014
9 |  B  |  2.0   | 2014
10|  C  |  3.0   | 2014
11|  D  |  NaN   | 2014

我想弄清楚如何获取每个 ID 的最新(最近)非 NaN 值的列表。所以这个案例的列表应该是:

[4.0, 2.0, 1.0, 1.0]

分别是 A、B、C 和 D 的最新值(跳过任何 NaN)。 到目前为止，我已经通过做这样的枢轴来解决这个问题:

df.pivot(index = 'Year', columns = 'ID', values = 'Values')

所以我得到:

ID   | A | B | C | D
----------------------
Year |   |   |   |   
2014 |2.0|2.0|3.0|NaN
2015 |2.0|2.0|1.0|3.0
2016 |4.0|NaN|Nan|1.0

我被卡住了 - 获取每个 ID 的最新非 NaN 值的最佳方法是什么？任何使用原始 DataFrame 或旋转 DataFrame 的建议都将不胜感激!

Answer 1

另一个groupby选项:

如果数据已经按 'Year' 降序排序，如示例数据:

df.groupby('ID')['Values'].first()

如果数据尚未排序:

df.sort_values(by='Year').groupby('ID')['Values'].last()

结果输出:

ID
A    4.0
B    2.0
C    1.0
D    1.0