ImageMagick 在 Singularity 容器内转换 OOMing

标签 imagemagick out-of-memory singularity-container

当我在 Singularity 容器中运行特定的 ImageMagick 转换命令(以生成动画 GIF)时,它始终出现内存错误:

convert-im6.q16: cache resources exhausted `foo.gif' @ error/cache.c/OpenPixelCache/4083.
convert-im6.q16: memory allocation failed `foo.gif' @ error/quantize.c/AssignImageColors/496.

我该如何调试?

我在 Singularity 之外没有遇到任何内存问题,这给我的印象是 Singularity 人为地限制了我的可用内存,或者 ImageMagick 在 Singularity 内部配置不当。我没有看到在 Singularity 中运行的任何其他应用程序的内存问题,这让我认为这是一个 ImageMagick 问题。

以下是有关我的系统的一些详细信息:

$ singularity --version
singularity version 3.7.1-1.el8

容器内部:

Singularity> convert --version
Version: ImageMagick 6.9.10-23 Q16 x86_64 20190101 https://imagemagick.org
Copyright: © 1999-2019 ImageMagick Studio LLC
License: https://imagemagick.org/script/license.php
Features: Cipher DPC Modules OpenMP 
Delegates (built-in): bzlib djvu fftw fontconfig freetype jbig jng jpeg lcms lqr ltdl lzma openexr pangocairo png tiff webp wmf x xml zlib

Singularity> convert -list resource
Resource limits:
  Width: 16KP
  Height: 16KP
  List length: 18.446744EP
  Area: 128MP
  Memory: 256MiB
  Map: 512MiB
  Disk: 1GiB
  File: 768
  Thread: 256
  Throttle: 0
  Time: unlimited

内存:256MiB 特别低。我应该至少有 2GiB。 ImageMagick 如何配置这些限制以及如何更改它们?

最佳答案

问题出在安装在我的容器中的 ImageMagick 的系统级 policy.xml。使用更慷慨的“内存”和“磁盘”值更新该文件解决了这个问题。

您可以使用命令 convert -list policy 找到您系统的 policy.xml 文件的位置(向 Kurt Pfeifle's answer 提供提示,这让我了解了这一点) .对我来说,它位于 /etc/ImageMagick-6/policy.xml。您可以编辑该文件 (如果您有根访问权限)。最后我决定只删除该文件,因为我不希望我的系统完全限制我在容器内的使用。

您可以通过命令行设置限制,例如 convert -limit memory 2GiB ... 或环境变量(详见 Kurt Pfeifle's answer)。但是,此方法不允许扩展大于 policy.xml 中设置的系统范围限制,因为 this policy file is meant to be a way for system administrators to forcibly limit users .因此,解决此问题的唯一方法是更新/删除系统范围的策略。

关于ImageMagick 在 Singularity 容器内转换 OOMing,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66230378/

相关文章:

java - 从数据库加载 26MB 文本数据消耗 258MB 的 JVM 堆

java - Android Java Switch 语句失败 - 堆大小?

conda - 在 Nextflow 中执行 Singularity 容器时激活 conda 环境

php - 如何在 CodeIgniter PHP 应用程序中加快图像大小调整?

imagemagick - 合成另一个图像,但有边距/填充

node.js - 仅在 AWS Lambda : ImageMagick Error: Command failed: convert: no decode delegate for this image format 中

Android 内存使用和内存中的对象未在 1.6 和 2.1 中发布

python - 如何使用 docker 容器中的 Singularity 运行 python 程序?

R 用矩形而不是文本绘制绘图

imagemagick - 为什么 "convert x.png y.png"会创建不同大小 (KB) 的图像?