python - 如何在python中限制子进程stdout和stderr的大小

Question

我需要运行用户提交的应用程序。我的代码如下所示:

def run_app(app_path):
    inp = open("app.in", "r")
    otp = open("app.out", "w")

    return subprocess.call(app_path, stdout=otp, stdin=inp)

现在，由于我无法控制用户提交的内容，我想限制应用程序输出的大小。 apparmor 规则执行限制了其他事情，例如尝试访问未经授权的系统资源和滥用 CPU 周期。允许运行的最长时间由父进程处理(在 python 中)。现在，恶意应用程序仍然可以尝试通过向其标准输出写入大量数据来淹没服务器系统，因为知道标准输出正在保存到文件中。

我不想对 stdout/stderr 文件使用 AppArmors RLIMIT 或任何内核模式。能够使用标准库从 python 中完成它会很棒。

我目前正在考虑创建文件的子类，并在每次写入时检查已经将多少数据写入流中。或者创建一个设置了最大长度的内存映射文件。

但我觉得可能有一种更简单的方法来限制文件大小，但我还没有看到它。

Answer 1

子类化 file 或创建其他伪文件 Python 对象根本不起作用，因为文件将在子进程中使用 - 因此它必须是操作系统。文件，而不是 Python 类对象。子进程不会将您的 Python 对象发送给其他进程使用。

虽然 Python 通过 mmap 模块对内存映射文件提供了原生且简单的支持，但内存映射并不意味着:您可以指定镜像到内存的文件的大小，但你根本不限制写入文件:多余的数据将简单地写入磁盘而不是映射。 (并且，您再次将磁盘文件而不是 mmap 对象传递给子进程)。有可能在某个时候创建​​一个带有哨兵值的文件，并保持一个线程检查哨兵是否被覆盖，此时，它可能会终止子进程 - 但我怀疑这是否可靠。

然后，还有磁盘事件监控工具，例如 inotify:您可以使用 pyinotify到主进程上的处理程序，每当访问文件时都会调用该处理程序。缺点:没有“文件写入”事件 - 只是“文件已访问” - 我不确定是否会通过文件的增量写入触发任何可能的事件。而且，尽管如此，如果子进程将在单个系统调用中完成所有写入操作，那么无论如何您都会收到通知，为时已晚。

因此，我认为可行的方法是:在人为限制的文件系统中创建一个文件。这样，当超过最大大小时，操作系统将阻止写入。

在 Linux 下，您可以预先创建一个具有所需大小和一些开销的文件，在其上创建一个 FS，并使用“循环”接口(interface)挂载它 - 然后只需在该文件系统中创建您的 stdout 和 sterr 文件，然后调用你的子进程。

您可以预先创建和预先安装一个这样的文件系统池以供需要时使用 - 或者，您甚至可以动态创建它们 - 但这需要创建 FS 主机文件、创建文件系统的步骤在其上构建 (mkfs) 并安装它——所有这些都可能会产生大量开销。

总而言之，也许您最好只使用 Apparmor 自己的 rlimit 设置。