bash zcat head 导致管道失败？

Question

set -eu 
VAR=$(zcat file.gz  |  head -n 12)

工作正常

set -eu   -o pipefail
VAR=$(zcat file.gz  |  head -n 12)

导致 bash 失败退出。 这是如何导致管道故障的？

请注意，file.gz 包含数百万行(约 750 MB，已压缩)。

Answer 1

想一想。

1. 您是在告诉 shell，如果任何组件发生故障，您的整个管道都应被视为已发生故障。
2. 您要告诉 zcat 将其输出写入 head。
3. 然后您告诉 head 在读取 12 行后退出，这是一个比 12 行长得多的输入流。

当然您有一个错误:zcat 的目标管道提前关闭，无法成功写入输入文件的解压缩版本!它没有任何方法知道这是由于用户意图导致的错误发生。

如果您正在使用 zcat 写入磁盘但空间不足，或者写入网络流并且出现连接丢失，那么退出是完全正确和适当的状态指示失败。这只是该规则的另一种情况。

---

zcat 由操作系统给出的特定错误是 EPIPE，由 write 系统调用在以下条件下返回:< i>尝试写入未打开供任何进程读取的管道。

head(此 FIFO 的唯一读取器)退出后，对管道输入端的任何写入不返回 EPIPE 都将是一个错误。对于 zcat 静默忽略写入其输出的错误，从而能够生成不准确的输出流而没有反射(reflect)此事件的退出状态，同样将是一个错误。

---

如果您不想更改任何 shell 选项，顺便说一句，您可能会考虑使用进程替换的一种解决方法:

var=$(head -n 12 < <(zcat file.gz))

在这种情况下，zcat 不是管道组件，并且出于确定成功的目的不考虑其退出状态。 (如果您想独立确定成功/失败，您可以测试 $var 是否有 12 行长)。

---

可以通过引入 Python 解释器及其原生 gzip 支持来实现更全面的解决方案。嵌入在 shell 脚本中的 native Python 实现(与 Python 2 和 3.x 兼容)可能类似于:

zhead_py=$(cat <<'EOF'
import sys, gzip
gzf = gzip.GzipFile(sys.argv[1], 'rb')
outFile = sys.stdout.buffer if hasattr(sys.stdout, 'buffer') else sys.stdout
numLines = 0
maxLines = int(sys.argv[2])
for line in gzf:
    if numLines >= maxLines:
        sys.exit(0)
    outFile.write(line)
    numLines += 1
EOF
)
zhead() { python -c "$zhead_py" "$@"; }

...这会让您得到一个 zhead，如果它用完输入数据也不会失败，但确实通过真正的 I/的失败退出状态O 故障或其他意外事件。 (使用形式为 zhead in.gz 5，从 in.gz 中读取 5 行)。