r - 如何在r中导入csv数据后删除空行

Question

我将几个大型 csv 文件与对象的到达 (ATA) 和离开 (ATD) 时间组合在一起。合并文件后我无法删除 <NA>使用熟悉的方法行。 Windows 和 Unix 文件的换行符和回车符的来源可能不同。但我不想更改 csv 文件。我希望能够更正 R 中的数据框。

我合并了几个包含相同变量的大型 csv 文件，例如:

# read csv files
df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE)
df2 <- read.csv("data_2.csv", stringsAsFactors = FALSE)
df3 <- read.csv("data_3.csv", stringsAsFactors = FALSE)

# combine csv files
combidat <- rbind(df1, df2, df3)

# remove duplicate entries
combidat <- combidat[!duplicated(combidat), ]

使用 <NA> 删除条目在 ID(第一列变量)中，我使用其中一个:

combidat <- combidat[!is.na(combidat$ID),]
combidat <- combidat[complete.cases(combidat[ , 1]),]
combidat <- combidat[rowSums(is.na(combidat)) != ncol(combidat),]

我还发现:

combidat <- combidat[-which(apply(combidat,1,function(x)all(is.na(x)))),]

但我不能使用这种方法。如果我这样做 combidat变空了。

如果我检查结果:

combidat[is.na(combidat$ID),]

我得到:

 [1] ID            ATA            ATD            object
<0 rows> (or 0-length row.names)

但是，如果我检查不一致情况，即出发时间早于到达时间:

combidat[(ATD<ATA),]

我得到:

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089
NA             NA                     <NA>                      <NA>        NA
NA.1           NA                     <NA>                      <NA>        NA
NA.2           NA                     <NA>                      <NA>        NA
NA.3           NA                     <NA>                      <NA>        NA
NA.4           NA                     <NA>                      <NA>        NA
NA.5           NA                     <NA>                      <NA>        NA
NA.6           NA                     <NA>                      <NA>        NA
NA.7           NA                     <NA>                      <NA>        NA

我希望得到的是:

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089

任何解释我做错了什么以及如何纠正它，将不胜感激。

[2019 年 6 月 28 日添加] 导入的 csv 文件出现问题。不知何故，数据字段中的换行符/回车符被解释为记录标记的结尾。我玩弄了“引用”:

df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE, quote = "\"'")

这有一些影响，但我没弄对。

Answer 1

正如 gdevaux 所指出的，也许您的“NA”是字符。在这种情况下，您可以使用 dplyr 包过滤数据(您也可以在尝试时使用 base R 来完成):

library(dplyr)
combidat<- combidat%>% filter(!ID=="NA")

它也可能有空格，在这种情况下，您可以在导入时修剪或修剪列并重试上面的代码。

library(stringr)    
combidat<- combidat%>% 
      mutate(ID=str_trim(ID, side = "both"))%>%
      filter(!ID=="NA")

最后，您的 ID 列似乎只是由数字 ID 组成。在那种情况下，您可以将您的列设为数字，从而将 NA 值强制为真实的 NA。

    combidat$ID<- as.numeric(combidat$ID)
combidat<- combidat%>% filter(!is.na(ID))

如果值被强制转换，R 会告诉您。