我正在与 raster
一起工作包,我尝试切换到 terra
但由于一些我不明白的原因,terra
无法重现 raster
的相同操作与包并行工作时,例如 snowfall
和 future.apply
.这是一个可重现的示例。
library(terra)
r <- rast()
r[] <- 1:ncell(r)
m <- rast()
m[] <- c(rep(1,ncell(m)/5),rep(2,ncell(m)/5),rep(3,ncell(m)/5),rep(4,ncell(m)/5),rep(5,ncell(m)/5))
ms <- separate(m,other=NA)
plot(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]
masked <-
terra::mask(
r,
mask
)
richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#the sequential usage works fine, faster than the `raster` counterpart
system.time(x <- mymask(1))#0.03
#when I try to run my function in parallel I receive an error
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))
Error in .External(list(name = "CppMethod__invoke_notvoid", address = <pointer: (nil)>, : NULL value as symbol address.
如果我更改
rast
,完全相同的代码运行良好与 raster
和 terra::mask
与 raster::mask
.见下文:library(raster)
r <- raster(r)
ms <- stack(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]
masked <-
raster::mask(
r,
mask
)
richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#this works fine
system.time(x <- mymask(1))#0.06
#this works too
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))#15.48
如果我使用 snowfall
,则行为相同而不是 future
library(snowfall)
sfInit(parallel = TRUE, cpus =5)
sfLibrary(terra)
sfExportAll()
system.time(pred_list <- sfLapply(1:5, fun = mymask))
sfStop()
这将返回与 future_lapply
相同的错误为什么会这样?我从未见过这样的错误。我希望利用
terra
的更高速度但所以我被卡住了。
最佳答案
A SpatRaster
无法序列化,您无法将其发送到并行计算节点。看看 here更多讨论。
相反,您可以 (a) 发送和接收文件名; (b) 并行化您提供给 app
的自定义函数或 lapp
; (c) 使用 cores=n
参数(如果可用,例如 app
和 predict
); (d) 使用类似 wrap
的机制; (e) 发送一个文件名和一个向量,使 SpatExtent 处理并从输出图块创建一个虚拟栅格(参见?vrt)。
例如,您可以使用这样的函数(选项“a”)
prich <- function(filein, fileout) {
r <- rast(filein)
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked, richard, filename=fileout, overwrite=TRUE)
return(TRUE)
}
我用 app
因为它对于大型栅格更有效——因为它可以避免使用 SpatRaster 为 10 个算术运算中的每一个写入临时文件。鉴于您想并行化这个相对简单的函数,我假设文件非常大。或选项“c”:
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked, richard, cores=12)
在这两种情况下,我都包括了掩蔽。您可以将其包含在选项“a”中,但 mask
是磁盘 I/O 密集型,而不是计算密集型,因此一步完成而不是并行执行可能同样有效。与
wrap
你可以做这样的事情f <- function(w) {
x <- rast(w)
y <- richard(x)
wrap(y)
}
r <- rast(nrow=10, ncol=10, vals=1:100)
x <- f(wrap(r))
x <- rast(x)
哪里f
将并行运行。这仅适用于小型栅格,但您可以在切片上并行化,我计划为此编写一个包装器以使其易于使用。还会有更多,但不要屏住呼吸。
关于r - 尝试运行并行操作时,terra 包返回错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67445883/