读取文件列表，应用函数并用同名重写

Question

我有一组包含重复条目的 csv 文件，我需要删除并重写具有相同名称和格式的文件。

这是我到目前为止所做的，

filenames<-list.files(pattern =".csv") 
datalist <-lapply(filenames, function(x){read.csv(file=x,header=F)})
unique.list <- lapply(datalist,unique)

而且我坚持分离列表中的数据框并用相同的名称重写。还有一个类似的问题，我尝试了几个小时但无法理解程序。

Answer 1

我肯定会使用 for环形。嘘，别告诉任何人我说过。为什么？三个原因...

您想调用write.csv因为它是副作用，而不是返回值，即您希望将文件写入磁盘。使用*apply当您想要函数的返回值时。

主要瓶颈将是磁盘 I/O，因此我预计使用 for 不会产生性能开销循环与使用 *apply 相比环形。

*apply函数将在循环的每次迭代中吞噬内存，并且不能保证在所有迭代完成之前释放它。在 for如果您要覆盖循环内的对象，则循环内存将在下一次迭代开始时释放。如果您正在使用大型 csv文件，这可能是一个优势。我会尝试找到答案的链接 for解决了 lapply 的问题由于内存问题无法。

因此，鉴于您的重复数据列表是...

for( i in 1:length( filenames ) ){
  write.csv( unique.list[[i]] , filenames[[i]] )
}

Here is an answer在哪里 for循环是必需的，因为 lapply等效遇到内存分配错误。