我在计算集群上运行 conda 环境,其中每个“项目”的文件总数受到限制(最多 200k 个文件)。我只创建了几个 conda 环境(Python 2.7 的 anaconda;每个环境中安装了约 200 个 python 和 R 包;环境之间的包重叠率很高)并且已经达到了文件数量限制。即使在使用 conda clean -a
时,也只有一小部分文件被删除。我的 conda 环境(例如 boost)中的一些 python 包包含 >10k 的文件,而 clean 不会减少这一点。
有什么方法可以大大减少作为 conda 环境的一部分存储的文件数量?
最佳答案
Anaconda 使用硬链接(hard link)来减少消耗的磁盘空间。但是,如果对文件数量施加限制,则每个硬链接(hard link)都很重要。
正如评论中所讨论的那样,使用 Miniconda 而不是 Anaconda,并且只安装您实际需要的包,可能会有所帮助。
如果这还不够,我建议将您的多个环境合并为一个。这样重叠的包的硬链接(hard link)就会更少。当然,这与环境的用途相反,但这就是变通办法的本质。
关于python - 如何减少anaconda目录下的文件数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40241133/