我正在处理大型(最少 8 百万行)dataframes
并希望根据几个分组变量和 rmultinom
进行一些基本计算.就我的代码而言,完成计算至少需要约 1 秒,这不是问题,但我需要执行数千次,所以我真的很想加快速度。
我目前正在使用 dataframes
和 tidyverse
但我与其中任何一个都没有关系。我尝试使用 data.table
来实现但想不通。任何关于我如何加快速度的建议将不胜感激。
一个例子(真实数据可以大一个数量级或更多):
library(tidyverse)
library(microbenchmark)
# create dummy data
df <- data.frame(fact = rep(letters, each = 312000),
month = rep(month.name, 26),
num = rep(sample(10000:100000, 12), 26),
prob = runif(312))
# Order by month
df <- df[order(df$month), ]
# group by two factor variables and calculate new variable
microbenchmark({
df2 <- df %>%
group_by(fact, month) %>%
mutate(res = ifelse(prob > 0, c(rmultinom(1, num[1], prob = prob)), 0))}, times = 10)
> Unit: milliseconds
> min lq mean median uq max neval
> 816.3126 822.4083 840.7966 834.6163 855.5139 879.9345 10
最佳答案
评论太长了,所以我把它贴在这里。
运行
library(profr)
plot(profr(
df %>% group_by(fact, month) %>%
mutate(res = ifelse(prob > 0, c(rmultinom(1, num[1], prob = prob)), 0))
))
我得到以下信息:
所以,看起来你真的很想为
multinom
找到一个更快的实现。 ,这似乎是瓶颈。这个瓶颈对于 dplyr
都是一样的和 data.table
,这意味着只会加速 rmultinorm
将为您带来显着的速度提升。
关于r - Group_by 并在大型数据帧上缓慢变异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52709593/