我有一个 Pandas 数据帧 df我想为每批行计算一些统计信息。
例如，假设我有一个 batch_size = 200000 .
每批batch_size行 我想要列的唯一值数量 ID我的数据帧。
我怎么能做这样的事情？
这是我想要的一个例子:
print(df)
>>
+-------+
| ID|
+-------+
| 1|
| 1|
| 2|
| 2|
| 2|
| 3|
| 3|
| 3|
| 3|
+-------+
batch_size = 3
my_new_function(df,batch_size)
>>
For batch 1 (0 to 2) :
2 unique values
1 appears 2 times
2 appears 1 time
For batch 2 (3 to 5) :
2 unique values
2 appears 2 times
3 appears 1 time
For batch 3 (6 to 8)
1 unique values
3 appears 3 times
注意:输出当然可以是一个简单的 DataFrame
最佳答案
见 this post对于拆分过程，您可以这样做以获得唯一“ID”的数量
df = pd.DataFrame({'ID' : [1, 1, 2, 2, 2, 3, 3, 3, 3]})
batch_size = 3
result = []
for batch_number, batch_df in df.groupby(np.arange(len(df)) // batch_size):
result.append(batch_df['ID'].nunique())
pd.DataFrame(result)
编辑:按照user3426270的回答，我回答的时候没注意到
关于python - Pandas 数据帧 : Operation per batch of rows，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56218003/