我已经解析了一个非常大的数据库,其中包含超过 500 万条数据行和 40 列。 出于实际原因,结果被分成小的“.Rdata”文件。 我总共有 3000 多个文件,每个文件的大小最大为 1Mb。
我设计了一个快速循环,使用 dplyr 将这些文件组合成一个数据帧,但这非常慢,我相信有更快的方法。
我尝试使用带有预分配的矩阵,但我的数据既是文本又是数字,并且出现错误。 使用基础 R 时,数据帧甚至更慢。
list_files = as.data.frame(list.files(path = "output", pattern = 'Rdata'))
names(list_files) = 'full_name'
list_files = list_files %>%
separate(full_name, sep ="_", into = c('col1','col2')) %>%
separate(col2, sep = '.R', into = c('col3','col4')) %>%
mutate(col3 = as.numeric(col3)) %>%
arrange(col3) %>% mutate(col3 = as.character(col3))
datax <- c()
for(i in 1:length(list_files$col3))
{
load(paste('output/MyData_',list_files$col3[i],'.Rdata',sep=''))
##here loads results_df2
datax = datax %>% bind_rows(results_df2)
if((i %% 100) == 0) { print(i)}
}
有没有更有效的方法来编写这个循环?
最佳答案
使用 purrr::map
和 purrr::reduce
,您可以导入并绑定(bind)它们,而无需使用 for 循环。
library(purrr)
library(dplyr)
# save data frame as rds
# mtcars %>% saveRDS("mtcars1.rds")
# mtcars %>% saveRDS("mtcars2.rds")
# list files
files <- list.files(pattern = "rds")
# read and bind
files %>% map(readRDS) %>%
reduce(bind_rows)
关于r - 提高循环内 bind_rows 的速度(3000 个数据帧),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56076736/