我需要导入具有不同列号的数据文件。最后,该代码应该由其他对 R 不太熟悉的同事使用。因此它应该是健壮的,并且最好没有警告消息。主要问题是 header 总是以附加的“,”结尾,这不会出现在下面的数据中。除了一大堆未使用的列之外,所需的列始终以相同的方式标记。 IE。列名中总是包含某个字符串,但整个列名不一定相同。
示例代码非常简单地近似于我的文件。首先,我想消除由于标题末尾的错误逗号而导致的错误消息。类似skip_col = ncol(headder)
。其次,我想只读取列名称中包含 "*des*"
的列。
在这个简化的示例中,我处理它的方法看起来很简单,但在我更复杂的代码中却不太令人满意。
library(tidyverse)
read_csv("date,col1des,col1foo,col2des,col3des,col2foo,col3foo,
2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0
2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3")
if (length(grep("des", names(data))) > 0) {
des <- data[grep("des", names(data))]
des <- bind_cols(date = data$date, des)
}
因此,在我的完整代码中,我收到以下警告消息:
1. Missing column names filled in: 'X184' [184]
2. Duplicated column names deduplicated: [long list of unrequired columns with dublicated names]
我希望能在 tidyverse 中找到解决方案。据我发现不可能直接在 read_csv 调用中使用正则表达式来指定列名称,对吧?因此,也许唯一的方法是首先读取 header 并从中构建 cols()
调用。但这超出了我的 R 知识范围。
编辑:
我想知道这样的事情是否可能:
headline <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo,"
head <- headline %>% strsplit(",") %>% unlist(use.names = FALSE)
head_des <- head[grep("des", head)]
data <- read_csv("mydata.csv", col_types = cols_only(head_des[1] = "d", head_des[2] = "d"))
我想在读取整个数据之前grep()
列名。
最佳答案
编辑编号2
对您的评论的回应; 这适用于您的数据字符串:
library(tidyverse)
yourData <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo,
2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0
2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3"
data <- suppressWarnings(read_csv(yourData))
header <- names(data)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(yourData,col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#> col1des col2des col3des
#> <chr> <chr> <chr>
#> 1 0.6 -1.3 -0.5
#> 2 -0.5 1.5 0.1
#> 3 0.1 -1.6 -0.1
#> 4 1.7 -0.2 -0.4
<小时/>
编辑
在 this 的帮助下尝试满足您编辑后的愿望帖子:
library(tidyverse)
header <- suppressWarnings(readLines('file.csv')[1]) %>%
str_split(',',simplify = T)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(file = 'file.csv',col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#> col1des col2des col3des
#> <chr> <chr> <chr>
#> 1 0.6 -1.3 -0.5
#> 2 -0.5 1.5 0.1
#> 3 0.1 -1.6 -0.1
#> 4 1.7 -0.2 -0.4
<小时/>
这是我能想到的最强大、最tidyverse
的方式:
library(tidyverse)
file <- suppressWarnings(readLines('file.csv')) %>%
str_split(',')
dims <- file %>% map_int(~length(.))
if(any(dims != median(dims))){
file[[which(dims != median(dims))]] <- file[[which(dims != median(dims))]][1:median(dims)]
}
data <- file %>% map_chr(~paste(.,collapse = ',')) %>%
paste(., sep = '\n') %>% read_csv
(data <- data %>% select(which(str_detect(names(data), pattern = 'des'))))
#> # A tibble: 4 x 3
#> col1des col2des col3des
#> <dbl> <dbl> <dbl>
#> 1 0.6 -1.3 -0.5
#> 2 -0.5 1.5 0.1
#> 3 0.1 -1.6 -0.1
#> 4 1.7 -0.2 -0.4
其中 file.csv
包含您的数据。
关于使用正则表达式通过 readr 读取列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56787009/