我正在 SLURM 集群上运行管道,并且出于某种原因,许多较小的文件(大小在 500 到 2000 字节之间)按照 slurm-XXXXXX.out
的行命名。 (其中 XXXXXX
是一个数字)。我试图在 SLURM 网站上找出这些文件的内容,但找不到任何提及。我假设它们是系统在解析我的管道时使用的某种正在进行的文件?
如果重要的话,我正在运行的管道正在使用 snakemake
.我知道我以前见过这些类型的文件,但没有 snakemake
,但我当时他们不是什么大问题。我担心在工作流程的每个步骤之后清除这些文件的工作目录会中断正在进行的步骤,所以我目前没有对它们做任何事情。
这些文件是什么,我怎样才能抑制它们的输出,或者在相应的工作完成后删除它们?我是否以某种方式弄乱了我的工作流程,这就是创建它们的原因?
最佳答案
您可能想看看 sbatch文档。您所指的文件本质上是 SLURM 日志,如此处所述:
By default both standard output and standard error are directed to a file of the name "slurm-%j.out", where the "%j" is replaced with the job allocation number.
您可以使用
--error=<filename pattern>
更改文件名。和 --output=<filename pattern>
命令行选项。 filename_pattern 可以有一个或多个将被替换的符号,如 documentation 中所述。 .根据FAQs ,您应该能够使用以下命令行选项抑制标准输出和标准错误:sbatch --output=/dev/null --error=/dev/null [...]
关于SLURM/Sbatch 创建许多小的输出文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46908216/