python - 获取 pandas HDF5 查询中的最后一行

Question

我正在尝试获取存储在 HDF5 中的 Pandas 数据帧最后一行的索引而不必将整个数据集或索引拉入内存。我正在寻找这样的东西:

from pandas import HDFStore

store = HDFStore('file.h5')

last_index = store.select('dataset', where='index == -1').index

除了在我的例子中，最后一个索引不是 -1 而是 Timestamp

Answer 1

使用像位置索引器一样工作的start= 和stop= 参数

In [8]: df = DataFrame({'A' : np.random.randn(10000)},index=pd.date_range('20130101',periods=10000,freq='s'))

In [9]: store = pd.HDFStore('test.h5',mode='w')

In [10]: store.append('df',df)

In [11]: nrows = store.get_storer('df').nrows

In [12]: nrows
Out[12]: 10000

In [13]: store.select('df',start=nrows-1,stop=nrows)
Out[13]: 
                            A
2013-01-01 02:46:39 -0.890721

In [15]: df.iloc[[-1]]
Out[15]: 
                            A
2013-01-01 02:46:39 -0.890721