linux - 高容量缓冲区 fifo 或使用文件作为 fifo 缓冲区

Question

在 bash 脚本中，我使用以下命令将命令的输出传输到另一个命令的输入中:

$ output_com | input_com

output_com 比 input_com 慢。在我的脚本中，在 input_com 准备好操作之前，需要执行一些其他命令。

为了加快速度，我想在脚本开头启动output_com，输出到某种高容量fifo，执行其他需要完成的命令，然后执行input_com 以及输入中的 fifo。像这样的事情:

#!/bin/bash
#
mkfifo /tmp/fifo
output_com > /tmp/fifo &

somecommand1
somecommand2
input_com < /tmp/fifo

不幸的是，fifo 的缓冲区大小对于我的用例来说太小，因此在 input_com 开始读取之前，output_com 很快被阻止。 这些命令之间共享的数据量大约从 500MB 到 1GB 不等。

是否有某种我不知道的机制、工具或概念可以允许 output_com 在 input_com 开始读取之前开始在 fifo 上缓冲许多 MB？

例如，如果 fifo 缓冲区可以由 tmp 文件(硬盘用作缓冲区)烘焙，那就太好了，但我还没有找到如何做到这一点。使用简单文件是非阻塞的，并且会使 input_com 在 output_com 完成之前终止。

Answer 1

有一个工具叫 buffer就像一根更大的管道一样工作。大多数发行版中并未默认安装它，但可以从包管理器中安装它。

#!/bin/bash
#
mkfifo /tmp/fifo
output_com | buffer -m 1024m -s 512k > /tmp/fifo &

somecommand1
somecommand2
input_com < /tmp/fifo
wait

遗憾的是，手册没有指定 buffer 可以使用的最大块数，也没有指定缓冲区的最大大小，但这应该为您提供 1GiB 缓冲区。