r - 重新探究data.table与dplyr的内存使用

Question

我知道 data.table表与 dplyr 比较是SO上的常年收藏。 (完全公开:我喜欢并使用这两个程序包。)

但是，在尝试对我正在教授的类(class)进行一些比较时，我遇到了一些令人惊讶的事情。内存使用情况。我的期望是 dplyr 在需要(隐式)数据过滤或切片的操作中表现特别差。但这不是我要找到的。比较:

第一个 dplyr 。

library(bench)
library(dplyr, warn.conflicts = FALSE)
library(data.table, warn.conflicts = FALSE)
set.seed(123)

DF = tibble(x = rep(1:10, times = 1e5),
                y = sample(LETTERS[1:10], 10e5, replace = TRUE),
                z = rnorm(1e6))

DF %>% filter(x > 7) %>% group_by(y) %>% summarise(mean(z))
#> # A tibble: 10 x 2
#>    y     `mean(z)`
#>  * <chr>     <dbl>
#>  1 A     -0.00336 
#>  2 B     -0.00702 
#>  3 C      0.00291 
#>  4 D     -0.00430 
#>  5 E     -0.00705 
#>  6 F     -0.00568 
#>  7 G     -0.00344 
#>  8 H      0.000553
#>  9 I     -0.00168 
#> 10 J      0.00661

bench::bench_process_memory()
#> current     max 
#>   585MB   611MB

由reprex package(v0.3.0)创建于2020-04-22

然后是 data.table 。

library(bench)
library(dplyr, warn.conflicts = FALSE)
library(data.table, warn.conflicts = FALSE)
set.seed(123)

DT = data.table(x = rep(1:10, times = 1e5),
                y = sample(LETTERS[1:10], 10e5, replace = TRUE),
                z = rnorm(1e6))

DT[x > 7, mean(z), by = y]
#>     y            V1
#>  1: F -0.0056834238
#>  2: I -0.0016755202
#>  3: J  0.0066061660
#>  4: G -0.0034436348
#>  5: B -0.0070242788
#>  6: E -0.0070462070
#>  7: H  0.0005525803
#>  8: D -0.0043024627
#>  9: A -0.0033609302
#> 10: C  0.0029146372

bench::bench_process_memory()
#>  current      max 
#> 948.47MB   1.17GB

由reprex package(v0.3.0)创建于2020-04-22

因此，基本上 data.table 似乎使用了 dplyr 用于此简单的过滤+分组操作的内存几乎是原来的两倍。请注意，我实质上是在复制一个用例，即@Arun建议here在data.table方面的内存使用效率更高。 (不过 data.table 仍然要快很多。)

有什么想法吗，或者我只是缺少明显的东西？

P.S.顺便说一句，比较内存使用情况最终要比最初看起来更复杂，因为R的标准内存分析工具(Rprofmem和co。)所有发生在R之外的ignore操作(例如，对C++堆栈的调用)。幸运的是， Bench 软件包现在提供了 bench_process_memory() 函数，该函数还可以跟踪R GC堆之外的内存，这就是我在这里使用它的原因。

sessionInfo()
#> R version 3.6.3 (2020-02-29)
#> Platform: x86_64-pc-linux-gnu (64-bit)
#> Running under: Arch Linux
#> 
#> Matrix products: default
#> BLAS/LAPACK: /usr/lib/libopenblas_haswellp-r0.3.9.so
#> 
#> locale:
#>  [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C              
#>  [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8    
#>  [5] LC_MONETARY=en_US.UTF-8    LC_MESSAGES=en_US.UTF-8   
#>  [7] LC_PAPER=en_US.UTF-8       LC_NAME=C                 
#>  [9] LC_ADDRESS=C               LC_TELEPHONE=C            
#> [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C       
#> 
#> attached base packages:
#> [1] stats     graphics  grDevices utils     datasets  methods   base     
#> 
#> other attached packages:
#> [1] data.table_1.12.8 dplyr_0.8.99.9002 bench_1.1.1.9000 
#> 
#> loaded via a namespace (and not attached):
#>  [1] Rcpp_1.0.4.6      knitr_1.28        magrittr_1.5      tidyselect_1.0.0 
#>  [5] R6_2.4.1          rlang_0.4.5.9000  stringr_1.4.0     highr_0.8        
#>  [9] tools_3.6.3       xfun_0.13         htmltools_0.4.0   ellipsis_0.3.0   
#> [13] yaml_2.2.1        digest_0.6.25     tibble_3.0.1      lifecycle_0.2.0  
#> [17] crayon_1.3.4      purrr_0.3.4       vctrs_0.2.99.9011 glue_1.4.0       
#> [21] evaluate_0.14     rmarkdown_2.1     stringi_1.4.6     compiler_3.6.3   
#> [25] pillar_1.4.3      generics_0.0.2    pkgconfig_2.0.3

由reprex package(v0.3.0)创建于2020-04-22

Answer 1

更新:遵循@jangorecki的建议，我使用cgmemtime shell实用程序重新进行了分析。这些数字更加接近-即使启用了多线程-并且data.table现在使dplyr w.r.t减少到.high-water RSS + CACHE内存使用情况。

dplyr

$ ./cgmemtime Rscript ~/mem-comp-dplyr.R
Child user:    0.526 s
Child sys :    0.033 s
Child wall:    0.455 s
Child high-water RSS                    :     128952 KiB
Recursive and acc. high-water RSS+CACHE :     118516 KiB

数据表

$ ./cgmemtime Rscript ~/mem-comp-dt.R
Child user:    0.510 s
Child sys :    0.056 s
Child wall:    0.464 s
Child high-water RSS                    :     129032 KiB
Recursive and acc. high-water RSS+CACHE :     118320 KiB

底线:从R is complicated内准确测量内存使用情况。

我将原始答案留在下面，因为我认为它仍然有值(value)。

原始答案:

好的，因此在编写此文件的过程中，我意识到 data.table 的默认多线程行为似乎是主要的罪魁祸首。如果我重新运行后一个块，但是这次是多线程，则两个结果具有更大的可比性:

library(bench)
library(dplyr, warn.conflicts = FALSE)
library(data.table, warn.conflicts = FALSE)
set.seed(123)
setDTthreads(1) ## TURN OFF MULTITHREADING

DT = data.table(x = rep(1:10, times = 1e5),
                y = sample(LETTERS[1:10], 10e5, replace = TRUE),
                z = rnorm(1e6))

DT[x > 7, mean(z), by = y]
#>     y            V1
#>  1: F -0.0056834238
#>  2: I -0.0016755202
#>  3: J  0.0066061660
#>  4: G -0.0034436348
#>  5: B -0.0070242788
#>  6: E -0.0070462070
#>  7: H  0.0005525803
#>  8: D -0.0043024627
#>  9: A -0.0033609302
#> 10: C  0.0029146372

bench::bench_process_memory()
#> current     max 
#>   589MB   612MB

由reprex package(v0.3.0)创建于2020-04-22

不过，我很惊讶他们如此接近。如果我尝试使用更大的数据集(尽管使用了单个线程)，则 data.table 的内存性能实际上会变差，这使我怀疑我仍无法正确地测量内存使用情况...