r - 在具有列表列的数据帧上使用 setdiff

Question

如果 data.frames 包含列表列，是否有 R 函数可以获取一个 data.frame 中但不在另一个 data.frame 中的行？我知道 dplyr::setdiff 将在常规 data.frames 上工作，但如果我将它应用于带有列表列的 data.frame，我会收到错误消息。

list_df1 <- data.frame(x = c(1, 2, 2))
list_df1$y <- list(c("A", "B"), c("C"), c("B", "C"))
list_df2 <- data.frame(x = c(2, 3))
list_df2$y <- list(c("C"), c("D", "E"))
dplyr::setdiff(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

目前我一直在对两个 data.frames 中的行使用循环并直接比较行是否相等:

in_df2 <- rep(FALSE, nrow(list_df1))
for (row_ind1 in seq_len(nrow(list_df1))) {
  for (row_ind2 in seq_len(nrow(list_df2))) {
    rows_equal <- all.equal(list_df1[row_ind1, ], 
                            list_df2[row_ind2, ], 
                            check.attributes = FALSE)
    if (isTRUE(rows_equal)) {
      in_df2[row_ind1] <- TRUE
      break
    }
  }
}
list_df1[!in_df2, ]
#>   x    y
#> 1 1 A, B
#> 3 2 B, C

虽然给出了我正在寻找的结果，但我确信一定有更好或更有效的解决方案。

dplyr::anti_join 也是一个可能的解决方案，如果非列表列唯一标识结果。但在这种情况下，只有当两个 data.frames 之间的 all 条目相同时，我才想删除行。如果我们只在 x 列上应用 anti_join，我们得不到我正在寻找的结果:

dplyr::anti_join(list_df1, list_df2, by = "x")
#>   x    y
#> 1 1 A, B

将它应用于所有列会出错，只需列出 set_diff

dplr::anti_join(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

Answer 1

简短的回答是，目前 R 或 dplyr 中没有内置将 setdiff 应用于带有列表列的 data.frames 的能力。然而，有可能实现一个比循环遍历两者的天真方法快得多的解决方案 数据框。

选项 1:如果不需要列表列来标识不同的行，那么 dplyr::anti_join() 是一个很好的解决方案。要按您可以使用的所有非列表列加入(假设 list_df1 和 list_df2 具有相同的列名):

nonlist_setdiff <- function(list_df1, list_df2) {
  nonlist_vars <- list_df1 %>%
    select_if(function(x) !is.list(x)) %>%
    colnames(.)
  dplyr::anti_join(list_df1, list_df2, by = nonlist_vars)
}

选项 2:如果列表列需要识别不同的行，则 anti_join() 不再是一个选项。相反，您可以为两个 data.frames 的每一行创建一个散列，将它们转换为字符向量。然后您可以将 setdiff 应用于字符向量。此方法使用 digest、dplyr 和 purrr 包:

digest_setdiff <- function(list_df1, list_df2) {
  hash1 <- list_df1 %>%
    purrr::transpose() %>% # Transposing helps speed up the calculations
    purrr::map_chr(digest::digest, algo = "xxhash64") #use xxhash64 for speed
  hash2 <- list_df2 %>%
    purrr::transpose() %>%
    purrr::map_chr(digest::digest, algo = "xxhash64")
  only_in_df1 <- setdiff(hash1, hash2)
  list_df1[hash1 %in% only_in_df1, ]
}

这种方法应该适用于所有类型的 data.frames，无论多么复杂，并且 它比天真的方法快得多。但是，它仍然比 dplyr::setdiff 和 dplyr::anti_join 命令慢，所以如果没有必要请不要使用它。

在您的测试输入数据上运行 digest_setdiff 会得到预期的结果:

digest_setdiff(list_df1, list_df2)
#>   x    y
#> 1 1 A, B
#> 3 2 B, C