我想获取数据帧/矩阵的列,并在数据帧的每个单元格 ( [i, j]
) 之间应用一个函数,其中 i 和 j 是数据帧列的序列。基本上我想以与 cor
相同的方式填充单个单元格的矩阵。函数与 data.frame 一起使用。
这是一个相关问题:Create a matrix from a function and two numeric data frames但是,我在随机化测试中使用它并多次重复该操作(制作许多矩阵)。我正在寻找执行此操作的最快方法。我使用并行处理加快了一些速度,但我仍然对这种速度不满意。也不能假设矩阵输出是对称的,即cor
。产生一个对称矩阵(我的例子将反射(reflect)这一点)。
我今天在 data.table 网页 ( http://datatable.r-forge.r-project.org/ ) 上看到以下内容:
500+ times faster than
DF[i,j]<-value
这让我想到也许 data.table
或 dplyr
或其他方式可能会加快速度。我的大脑一直专注于填充细胞,但也许有更好的方法涉及 reshape 、应用函数和 reshape 矩阵或沿着这些线的东西。我可以使用 outer
在 base R 中实现这一点或 for
循环如下。
## Arbitrary function
FUN <- function(x, y) round(sqrt(sum(x)) - sum(y), digits=1)
## outer approach
outer(
names(mtcars),
names(mtcars),
Vectorize(function(i,j) FUN(mtcars[,i],mtcars[,j]))
)
## for approach
mat <- matrix(rep(NA, ncol(mtcars)^2), ncol(mtcars))
for (i in 1:ncol(mtcars)) {
for (j in 1:ncol(mtcars)) {
mat[i, j] <- FUN(mtcars[, i], mtcars[, j])
}
}
mat
这是 microbenchmark时间与 for
获得轻微的优势。
Unit: milliseconds
expr min lq median uq max neval
OUTER() 4.450410 4.691124 4.774394 4.877724 55.77333 1000
FOR() 4.309527 4.521785 4.588728 4.694156 7.04275 1000
在 R 中最快的方法是什么(欢迎添加包)?
最佳答案
仍然坚持使用 base
R 解决方案,我在基于 for
的方法中获得了 1.6-1.7 倍的加速:
- 用
[,i]
代替[[i]]
(显着的时间影响 - 也许FUN
只是在这里接收 C 指针而不是新鲜的分配的向量); FUN
的字节码编译(时间影响小);- 将
for
代码包装成函数 + 字节码编译(时间影响小);
顺便说一句,在 2 个循环中交换索引 (i,j) -> (j,i) 不会导致显着差异(理论上,按行矩阵访问应该更快)。
代码:
library(compiler)
FUN2 <- cmpfun(FUN)
for2 <- cmpfun(function(mtcars, FUN) {
mat <- matrix(rep(NA, ncol(mtcars)^2), ncol(mtcars))
for (i in 1:ncol(mtcars)) {
for (j in 1:ncol(mtcars)) {
mat[i, j] <- FUN(mtcars[[i]], mtcars[[j]])
}
}
mat
})
基准:
Unit: milliseconds
min lq median uq max neval
outer 7.791739 7.991474 8.245869 8.538163 16.24460 100
for 8.143679 8.463249 8.588230 9.912008 16.30842 100
for-mods 4.713837 4.875972 5.006202 5.246584 15.66491 100
在我看来,很难找到更快的方法(但我可能是错的)。与多次计算 FUN
所需的时间相比,for
循环时间偏差非常小(大约 0.25 毫秒)。
关于r - 更快的 i, j 矩阵单元格填充,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23817341/