python - 如何减少anaconda目录下的文件数量?

标签 python r anaconda conda

我在计算集群上运行 conda 环境,其中每个“项目”的文件总数受到限制(最多 200k 个文件)。我只创建了几个 conda 环境(Python 2.7 的 anaconda;每个环境中安装了约 200 个 python 和 R 包;环境之间的包重叠率很高)并且已经达到了文件数量限制。即使在使用 conda clean -a 时,也只有一小部分文件被删除。我的 conda 环境(例如 boost)中的一些 python 包包含 >10k 的文件,而 clean 不会减少这一点。

有什么方法可以大大减少作为 conda 环境的一部分存储的文件数量?

最佳答案

Anaconda 使用硬链接(hard link)来减少消耗的磁盘空间。但是,如果对文件数量施加限制,则每个硬链接(hard link)都很重要。

正如评论中所讨论的那样,使用 Miniconda 而不是 Anaconda,并且只安装您实际需要的包,可能会有所帮助。

如果这还不够,我建议将您的多个环境合并为一个。这样重叠的包的硬链接(hard link)就会更少。当然,这与环境的用途相反,但这就是变通办法的本质。

关于python - 如何减少anaconda目录下的文件数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40241133/

相关文章:

python-3.x - 在 Linux Ubuntu 上将 python 包从 GitHub 安装到 Anaconda 中

Python 3 替代 ftputil?

python - 将 certifi 模块与 urllib2 一起使用?

r - 基于重复 ID 的子集,并且值是否与后续行的另一列中的值重复

python - Conda 安装 geopandas 不执行任何操作

python - 通过命令行在 Ubuntu(或 Linux)上安装 Anaconda

python - 如何将 numpy Nd 数组作为最小示例的一部分进行通信?

python - Paramiko 和伪 tty 分配

windows - 有没有人有在 R(Windows 操作系统)中打开 hdf 文件的经验?

r - 预测包中 auto.arima() 中的季节性