我的应用程序有一个表单的传入数据流
name, datetime, {x, y, z}
或者换句话说,我收到单行数据,其中包含列name、datetime、x、y、z
。我每隔几分钟就会收到大量数据,其中一些是新的。
我想将此数据存储在 pandas Panel
中。该储物面板的结构是这样的
panel.items - [name_1,name_2,...,name_n]
panel.major_axis - [datetime1,datetime2,...datetime_m]
panel.minor_axis - [x, y, z]
出于效率原因,似乎 Panel
对象的大小不太可调。但是,不可能知道major_axis
将包含什么日期时间
。我什至有可能在之前的日期之间收到一个新的日期时间
。
我确实知道items
和minor_axis
将包含什么(尽管没有这个限制我会更高兴)。
我想根据需要增加这个存储面板。速度不是问题。向其他使用可转换为面板的其他容器类型开放。有什么建议吗?
<小时/>想法
我正在尝试将数据临时存储到 dict-of-dict-of-dict 结构中,也许在每次突发后转换为 Panel
,然后以某种方式将其与存储结合起来 面板
。
old_panel = old_panel.set_value(item,major,minor,value)
似乎没有像文档中那样工作,而且每次创建一个新面板似乎也很激烈(因为旧的可能很大)。
最佳答案
我想说现在废弃面板并使用带有pd.Multi-Index
的数据框
示例数据
假设 'x', 'y', 'z'
位于一个元组中
data = [
['a', pd.Timestamp('2016-03-31'), (1, 2, 3)],
['a', pd.Timestamp('2016-04-30'), (1, 2, 3)],
['a', pd.Timestamp('2016-07-31'), (1, 2, 3)],
['a', pd.Timestamp('2016-05-31'), (1, 2, 3)],
['b', pd.Timestamp('2016-03-31'), (1, 2, 3)],
['b', pd.Timestamp('2016-05-31'), (1, 2, 3)],
['b', pd.Timestamp('2016-08-31'), (1, 2, 3)],
]
<小时/>
构建空数据框
mux = pd.MultiIndex.from_product([list('abc'), list('xyz')])
df = pd.DataFrame(columns=mux)
迭代数据以模拟流数据
for d in data:
df.loc[d[1], pd.IndexSlice[d[0], list('xyz')]] = d[2]
<小时/>
结果
print(df)
a b c
x y z x y z x y z
2016-03-31 1 2 3 1 2 3 NaN NaN NaN
2016-04-30 1 2 3 NaN NaN NaN NaN NaN NaN
2016-07-31 1 2 3 NaN NaN NaN NaN NaN NaN
2016-05-31 1 2 3 1 2 3 NaN NaN NaN
2016-08-31 NaN NaN NaN 1 2 3 NaN NaN NaN
你总是可以得到这样的面板
df.stack().to_panel()
<class 'pandas.core.panel.Panel'>
Dimensions: 3 (items) x 5 (major_axis) x 3 (minor_axis)
Items axis: a to c
Major_axis axis: 2016-03-31 00:00:00 to 2016-08-31 00:00:00
Minor_axis axis: x to z
关于python - 使用新数据流沿着major_axis 增长pandas 面板?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41987780/