SLURM/Sbatch 创建许多小的输出文件

标签 slurm snakemake sbatch

我正在 SLURM 集群上运行管道,并且出于某种原因,许多较小的文件(大小在 500 到 2000 字节之间)按照 slurm-XXXXXX.out 的行命名。 (其中 XXXXXX 是一个数字)。我试图在 SLURM 网站上找出这些文件的内容,但找不到任何提及。我假设它们是系统在解析我的管道时使用的某种正在进行的文件?

如果重要的话,我正在运行的管道正在使用 snakemake .我知道我以前见过这些类型的文件,但没有 snakemake ,但我当时他们不是什么大问题。我担心在工作流程的每个步骤之后清除这些文件的工作目录会中断正在进行的步骤,所以我目前没有对它们做任何事情。

这些文件是什么,我怎样才能抑制它们的输出,或者在相应的工作完成后删除它们?我是否以某种方式弄乱了我的工作流程,这就是创建它们的原因?

最佳答案

您可能想看看 sbatch文档。您所指的文件本质上是 SLURM 日志,如此处所述:

By default both standard output and standard error are directed to a file of the name "slurm-%j.out", where the "%j" is replaced with the job allocation number.



您可以使用 --error=<filename pattern> 更改文件名。和 --output=<filename pattern>命令行选项。 filename_pattern 可以有一个或多个将被替换的符号,如 documentation 中所述。 .根据FAQs ,您应该能够使用以下命令行选项抑制标准输出和标准错误:
sbatch --output=/dev/null --error=/dev/null [...]

关于SLURM/Sbatch 创建许多小的输出文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46908216/

相关文章:

python - 具有多个命令的别名,是否可以将参数传递给第一个命令?

pycharm - 使用 PyCharm 远程运行非 python 脚本

bash - Slurm 作业,知道它在哪个节点上

python - 向工作流程添加通配符 - 最佳实践

file - 如何避免在输入或中间输出文件更新后运行 Snakemake 规则

snakemake - 如何跳过古代的中间规则?

python - 如何确保 slurm 中的 python 提交脚本位于发出 sbatch 命令的位置?

python - 如何通过配置文件在 SLURM 中使用 sbatch

linux - 如何找到在 SLURM 中提交工作的位置?

linux - 如何生成不同的脚本以在Linux中的每个目录上运行?