r - 从data.table到eval的函数创建表达式

标签 r data.table

给定data.table dat:

dat <- data.table(x_one=1:10, x_two=1:10, y_one=1:10, y_two=1:10) 

我想要一个函数,在给定两个类似行的“根”名称的情况下,在它们之间创建一个表达式,例如x_one - x_two
myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')

  parse(text=paste(one, '-', two))
}

现在,仅使用一个根名即可按预期工作并产生 vector 。
dat[, eval(myfun('x')),]

[1] 0 0 0 0 0 0 0 0 0 0

但是,尝试使用list技术为该输出分配名称将失败:
dat[, list(x_out = eval(myfun('x'))),]

Error in eval(expr, envir, enclos) : object 'x_one' not found

我可以通过添加一个with(dat, ...)来“解决”这个问题,但是看起来似乎不是data.table-ish
dat[, list(x_out = with(dat, eval(myfun('x'))),
           y_out = with(dat, eval(myfun('y')))),]

    x_out y_out
 1:     0     0
 2:     0     0
 3:     0     0
 4:     0     0
 5:     0     0
 6:     0     0
 7:     0     0
 8:     0     0
 9:     0     0
10:     0     0

如果我想要上面的输出,生成和评估这些表达式的正确方法是什么?

如果有帮助,下面是sessionInfo()输出。我记得能够做到这一点,或接近它,但是它已经有一段时间了,自从...以来data.table已更新。
R version 2.15.1 (2012-06-22)

Platform: x86_64-pc-linux-gnu (64-bit)

locale:
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C               LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8    
 [5] LC_MONETARY=en_US.UTF-8    LC_MESSAGES=en_US.UTF-8    LC_PAPER=C                 LC_NAME=C                 
 [9] LC_ADDRESS=C               LC_TELEPHONE=C             LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C       

attached base packages:
[1] graphics  grDevices utils     datasets  stats     grid      methods   base     

other attached packages:
 [1] Cairo_1.5-1      zoo_1.7-7        stringr_0.6.1    doMC_1.2.5       multicore_0.1-7  iterators_1.0.6  foreach_1.4.0   
 [8] data.table_1.8.2 circular_0.4-3   boot_1.3-5       ggplot2_0.9.1    reshape2_1.2.1   plyr_1.7.1      

loaded via a namespace (and not attached):
 [1] codetools_0.2-8    colorspace_1.1-1   dichromat_1.2-4    digest_0.5.2       labeling_0.1       lattice_0.20-6    
 [7] MASS_7.3-20        memoise_0.1        munsell_0.3        proto_0.3-9.2      RColorBrewer_1.0-5 scales_0.2.1      
[13] tools_2.15.1      

最佳答案

一种解决方案是将list(...)放入函数输出中。

我倾向于使用as.quoted,从@hadley在.()包中实现plyr的方式中窃取。

library(data.table)
library(plyr)
dat <- data.table(x_one=1:10, x_two=1:10, y_one=1:10, y_two=1:10) 
myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')
  out <- paste0(name,'_out')
 as.quoted(paste('list(',out, '=',one, '-', two,')'))[[1]]
}


dat[, eval(myfun('x')),]

#    x_out
# 1:     0
# 2:     0
# 3:     0
# 4:     0
# 5:     0
# 6:     0
# 7:     0
# 8:     0
# 9:     0
#10:     0

要一次执行两列,您可以调整通话
myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')
  out <- paste0(name,'_out')
  calls <- paste(paste(out, '=', one, '-',two), collapse = ',')


 as.quoted(paste('list(', calls,')'))[[1]]
}


dat[, eval(myfun(c('x','y'))),]

#   x_out y_out
# 1:     0     0
# 2:     0     0
# 3:     0     0
# 4:     0     0
# 5:     0     0
# 6:     0     0
# 7:     0     0
# 8:     0     0
# 9:     0     0
# 0:     0     0

至于原因.....

在此解决方案中,对list(..)的整个调用都在作为数据表的parent.frame中进行评估。
[.data.table中的相关代码是
if (missing(j)) stop("logical error, j missing")
jsub = substitute(j)
if (is.null(jsub)) return(NULL)
jsubl = as.list.default(jsub)
if (identical(jsubl[[1L]],quote(eval))) {
    jsub = eval(jsubl[[2L]],parent.frame())
    if (is.expression(jsub)) jsub = jsub[[1L]]
}

如果(就您而言)
j = list(xout = eval(myfun('x'))) 

##then

jsub <- substitute(j) 


 #  list(xout = eval(myfun("x")))


as.list.default(jsub)
## [[1]]
## list
## 
## $xout
## eval(myfun("x"))

所以jsubl[[1L]]listjsubl[[2L]]eval(myfun("x"))
因此data.table尚未找到对eval的调用,因此无法对其进行适当处理。

这将起作用,并在正确的数据内强制进行第二次评估。
# using OP myfun
dat[,list(xout =eval(myfun('x'), dat))]

一样的方法
eval(parse(text = 'x_one'),dat)
# [1]  1  2  3  4  5  6  7  8  9 10

起作用但是
 eval(eval(parse(text = 'x_one')), dat)

才不是

编辑10/4/13

尽管将.SD用作环境可能更安全(但速度较慢),因为这样对iby也会很健壮,例如
dat[,list(xout =eval(myfun('x'), .SD))]

从马修编辑:

+10以上。我自己不能更好地解释它。更进一步,我有时要做的是构造整个data.table查询,然后对其进行eval。这样有时可能会更健壮。我认为它就像SQL;即,我们经常构造一条动态SQL语句,该语句将发送到SQL服务器以执行。在进行调试时,有时也更容易查看构造的查询并在浏览器提示符下运行它。但是,有时这样的查询会很长,因此,通过不重新计算其他组件,可以将eval传递给ijby可以更有效。像往常一样,有很多方法可以给猫加皮。

考虑用eval编码整个查询的细微原因包括:
  • 分组快速的一个原因是它首先检查j表达式。如果是list,它将删除名称,但会记住它们。然后,eval为每个组提供一个未命名的列表,然后一次恢复名称,最后返回最终结果。其他方法之所以缓慢的一个原因是,对于每一组,一次又一次地重新创建相同的列名 vector 。但是,定义的j越复杂(例如,如果表达式不是精确地以list开头),则在内部编写检查逻辑的难度就越大。这个 Realm 有很多测试;例如,与eval结合使用,如果名称删除无效,则详细报告。但是,由于这个原因,构造一个“简单”查询(完整查询)和eval可能会更快,更可靠。
  • 在v1.8.2中,现在对j进行了优化:options(datatable.optimize=Inf)。到目前为止,这将检查j并对其进行修改以优化meanlapply(.SD,...)习惯用法。这造成了数量级上的差异,并且意味着用户需要知道的东西更少了(例如,现在一些Wiki点已经消失了)。我们可以做更多的事情;例如,如果DT[a==10] [2014年9月更新-现在在v1.9.3中实现],可以将DT[J(10)]自动优化为key(DT)[1]=="a"。但是同样,如果不是DT[,mean(a),by=b](例如DT[,list(x=eval(expr)),by=b]包含对expr的调用)而不是mean,则内部优化将很难在内部进行编码。因此,整个查询的eval可以与datatable.optimize一起使用。启用冗长功能可报告其正在执行的操作,并且可以根据需要关闭优化功能。例如,测试其产生的速度差异。

  • 根据注释,已添加FR#2183:“将DT范围内的j = list(xout = eval(...))的eval更改为eval”。感谢您的强调。这就是复杂的j的类型,我的意思是eval嵌套在表达式中。但是,如果jeval开头,则这要简单得多,并且已经进行了编码(如上所示)和测试,因此应该对其进行优化。

    如果有一个解决方法,那就是:在使用涉及DT[...,verbose=TRUE]的动态查询时,请使用options(datatable.verbose=TRUE)data.table来检查eval仍然有效地工作。

    关于r - 从data.table到eval的函数创建表达式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11872499/

    相关文章:

    R data.table fread - 读取列作为日期

    r - 提取两个字符串之间不同的不同字符

    r - deparse(substitute()) 正常返回函数名,但在 for 循环内部调用时返回函数代码

    r - 将字符添加到条件 R 的现有单元格

    r - 如何使用 lapply 将值重新分配给 data.table 的现有列?

    r - 使用 data.table 优化具有唯一节点的节点匹配目标

    r - 使用knitr绘制图的位置

    R:LDA Topicmodels - 术语的分布在哪里?

    r - fread 未从包 data.table 中读取 csv 文件的最后一行,错误消息为 'Discarded single-line footer'

    删除带有或不带有NA的常量列