r - 将数据集文件拆分为特定大小的部分

Question

我要分析this dataset在一次将导入限制为 100MB 的系统上。

如何将数据集每行分割成最多 100MB 的部分？

Answer 1

1. 读取数据集。
2. 将数据集分成 14 个 block (在 13 个 block 中，我有一个超过 100MB 的文件)。
3. 然后我使用 purrr 将结果另存为 csv

这是我使用的脚本:

trade = read.csv("commodity_trade_statistics_data.csv")

no_of_chunks <- 14

f <- ceiling(1:nrow(trade) / nrow(trade) * 14)

res <- split(trade, f)

library(purrr)
map2(res, paste0("chunk_", names(res), ".csv"), write.csv)