r - 使用 rbind append 数据帧的神秘问题

标签 r memory-management append rbind

我在尝试将几个文件连接到一个主文件中的时候很困难。有 5 个具有相同结构的文件,我可以毫无问题地将每个文件单独读入数据框中。我什至手动设置了 200 多个变量的列类,而不是让 R 决定,因为我认为这是导致问题的原因。但是,将任意两个文件 append 在一起会导致内存不足。

Warning messages: 1: In rbind(deparse.level, ...) : Reached total allocation of 4043Mb: see help(memory.size)



所以我做了一些实验:
我将文件 1 的两个不同块连接在一起。那个有效。
我将文件 2 的一个块加入到文件 1 的一个块中。这行得通。
我将一大块文件 2 加入到原始文件 1 中。那行得通。

这些文件中的每一个都略低于 200MB,所以我不确定我是否应该耗尽内存。如果有人感兴趣,数据来自hearstchallenge.com .比赛早已结束,我们只是将数据用于分析实验(而不是编程!)。

有关如何解决此问题的任何建议?

最佳答案

我遇到过类似的问题。解决方案不是在大数据上使用 rbind() 或 cbind()。他们倾向于泄漏内存。

要仅使用 R 解决您的问题,请首先创建一个数据框,该数据框包含将各个部分放在一起后数据框将具有的维度。然后使用赋值来填充大数据框。

关于r - 使用 rbind append 数据帧的神秘问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14343639/

相关文章:

r - igraph 有 "has_path"功能吗?

c++ - 可遍历内存池的数据结构

Linux 内核内存泄漏目前已修复

r - 从tar捕获错误并继续处理

r - DESCRIPTION 元信息错误

javascript - 在 JS 中使用 For 循环追加 li 项

将 'space' 连接到数组的末尾

python - 寻找一种解决方案来检测带有列表的类属性中的值更改并追加

r - 使用 R 中 ggplot2 中的 geom_jitter 和 geom_boxplot 控制点颜色

qt - 将全局内存用于(大)本地/私有(private)临时。 OpenCL 中高效的数据结构