我正在尝试dcast
一个大型数据集(数百万行)。我有一行用于到达时间和出发地,另一行用于出发时间和目的地。在这两种情况下,都有一个 id
来标识单元。它看起来类似于:
id time movement origin dest
1 10/06/2011 15:54 ARR 15 15
1 10/06/2011 16:14 DEP 15 29
2 10/06/2011 17:59 ARR 73 73
2 10/06/2011 18:10 DEP 73 75
2 10/06/2011 21:10 ARR 75 75
2 10/06/2011 21:20 DEP 75 73
3 10/06/2011 17:14 ARR 17 17
3 10/06/2011 18:01 DEP 17 48
4 10/06/2011 17:14 ARR 49 49
4 10/06/2011 17:26 DEP 49 15
因此,我想重新分配这些对 (ARR
-DEP
) 并高效地执行此操作(如 here )。由于它是一个非常大的数据集,因此 for 循环
在这种情况下不起作用。理想的输出是
index unitid origin arr time dest dep time
1 1 15 10/06/2011 14:33 29 10/06/2011 19:24
2 2 73 10/06/2011 14:59 75 10/06/2011 17:23
3 2 75 10/06/2011 21:10 73 10/06/2011 23:40
数据:
df <- structure(list(time = structure(c(7L, 16L, 8L, 11L, 18L, 20L,
10L, 12L, 3L, 6L, 15L, 19L, 9L, 4L, 5L, 14L, 1L, 2L, 13L, 17L
), .Label = c("10/06/2011 09:08", "10/06/2011 10:54", "10/06/2011 11:38",
"10/06/2011 12:41", "10/06/2011 12:54", "10/06/2011 14:26", "10/06/2011 14:33",
"10/06/2011 14:59", "10/06/2011 17:12", "10/06/2011 17:14", "10/06/2011 17:23",
"10/06/2011 18:56", "10/06/2011 19:03", "10/06/2011 19:04", "10/06/2011 19:16",
"10/06/2011 19:24", "10/06/2011 20:12", "10/06/2011 21:10", "10/06/2011 22:28",
"10/06/2011 23:40"), class = "factor"), movement = structure(c(1L,
2L, 1L, 2L, 1L, 2L, 1L, 2L, 1L, 2L, 1L, 2L, 3L, 1L, 2L, 2L, 1L,
2L, 2L, 3L), .Label = c("ARR", "DEP", "ITZ"), class = "factor"),
origin = c(15L, 15L, 73L, 73L, 75L, 75L, 17L, 17L, 49L, 49L,
15L, 15L, 32L, 10L, 10L, 17L, 76L, 76L, 76L, 76L), dest = c(15L,
29L, 73L, 75L, 75L, 73L, 17L, 48L, 49L, 15L, 15L, 49L, 32L,
10L, 17L, 10L, 76L, 65L, 76L, 65L), id = c(1L, 1L, 2L, 2L,
2L, 2L, 3L, 3L, 4L, 4L, 4L, 4L, 5L, 6L, 6L, 6L, 7L, 7L, 8L,
8L)), .Names = c("time", "movement", "origin", "dest", "id"
), row.names = c(NA, -20L), class = "data.frame")
最佳答案
这个怎么样?使用data.table
:
require(data.table)
setorder(setDT(df), id, time)
df[, grp := FALSE][movement == "ARR", grp := TRUE]
df[, .(time[grp], time[!grp], origin[grp], dest[!grp]), by=id]
# id V1 V2 V3 V4
# 1: 1 10/06/2011 14:33:57 10/06/2011 19:24:16 15 29
# 2: 2 10/06/2011 14:59:14 10/06/2011 17:23:20 73 75
# 3: 2 10/06/2011 21:10:56 10/06/2011 23:40:29 75 73
# 4: 3 10/06/2011 17:14:44 10/06/2011 18:56:39 17 48
# 5: 4 10/06/2011 11:38:43 10/06/2011 14:26:43 49 15
# 6: 4 10/06/2011 19:16:55 10/06/2011 22:28:14 15 49
# 7: 5 10/06/2011 10:41:20 10/06/2011 12:54:26 10 17
# 8: 6 10/06/2011 09:08:05 10/06/2011 10:54:48 76 65
如果您添加另一列具有值 !grp
并使用该列,而不是在每个组上执行 !grp
,则可以稍微加快速度。
这是如何工作的:
setDT
通过引用将 data.frame 转换为 data.table。setorder
根据提供的列(和顺序)通过引用对 data.table 重新排序。在这里,它根据id
和time
列以升序对df
的行进行重新排序。然后,我们使用 data.table 的通过引用进行子分配来添加一个额外的列,当
movement == "ARR 时,该列保存值
和TRUE
当movement == "DEP"
时,"FALSE
。注意:
df$movement
列中的因子水平有一个名为ITZ
的附加水平,该水平似乎不在本示例数据中。不知道如何处理。现在我们要做的就是从
origin
中选取 1,3,5,... 元素,从dest
中选取 2,4,6,... 元素code> (时间
也类似)。
只要 ARR
时间始终早于 DEP
时间(这是一个非常有效的假设),此方法就有效。
OP 对 Q 进行编辑后发现数据不一致:
na.omit(df[movement != "ITZ", .(time[grp], time[!grp], origin[grp], dest[!grp]), by=id])
关于r - 有效地广播具有多个变量的大型数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27564299/