我正在尝试使用 data.table 来加速由几个较小的合并 data.frame 组成的大型 data.frame (300k x 60) 的处理。我是 data.table 的新手。到目前为止的代码如下
library(data.table)
a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10))
b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10))
dt = merge(a,b,by=intersect(names(a),names(b)),all=T)
dt$category = sample(letters[1:3],10,replace=T)
我想知道是否有比以下更有效的方法来总结数据。
summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T),
d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]
我真的不想手动输入所有 50 列计算,并且 eval(paste(...))
不知何故显得笨拙。
我查看了下面的示例,但它对于我的需求来说似乎有点复杂。谢谢
最佳答案
您可以使用简单的lapply
声明 .SD
dt[, lapply(.SD, sum, na.rm=TRUE), by=category ]
category index a b z c d
1: c 19 51.13289 48.49994 42.50884 9.535588 11.53253
2: b 9 17.34860 20.35022 10.32514 11.764105 10.53127
3: a 27 25.91616 31.12624 0.00000 29.197343 31.71285
<小时/>
如果您只想对某些列进行汇总,则可以添加 .SDcols
论据
# note that .SDcols also allows reordering of the columns
dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ]
category a c z
1: c 51.13289 9.535588 42.50884
2: b 17.34860 11.764105 10.32514
3: a 25.91616 29.197343 0.00000
<小时/>
这当然不限于sum
您可以使用 lapply
的任何函数,包括匿名函数。 (即,这是一个常规的 lapply
语句)。
最后,不需要使用i=T
和j= <..>
。就我个人而言,我认为这会降低代码的可读性,但这只是一种风格偏好。
文档
参见?.SD
, ?data.table
及其 .SDcols
论证和小插图 Using .SD for Data Analysis .
另请查看data.table
FAQ 2.1 .
关于r - 使用 data.table 汇总多列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16513827/