bash - 将海量yaml文件拆分为N个有效yaml文件

Question

我有一个大的 yaml 文件:

---
foo: bar
baz:
  bacon: true
  eggs: false
---
goo: car
star:
  cheese: true
  water: false
---
dog: boxer
food:
  turkey: true
  moo: cow
---
...

我想要做的就是将此文件拆分为 n 个有效的 yaml 文件。

我尝试在 bash 中使用 csplit 执行此操作:

但最终得到的文件比我想要的多得多: csplit --elide-empty-files -f rendered- example.yaml "/---/""{*}"

或最后一个文件包含大部分内容的拆分: csplit --elide-empty-files -n 3 -f render- app.yaml "/---/""{3}"

这并不理想。我真正想要的是能够将 yaml 文件分成三份，并在最接近的分隔符处进行分割。我知道这并不总是真正的三分之二。

关于如何在 bash 中完成此任务有什么想法吗？

Answer 1

我认为 csplit 没有办法做到这一点。我能够使用 awk 将其分成 1000 个 yaml 文档的文件:

awk '/---/{f="rendered-"int(++i/1000);}{print > f;}' app.yaml

要获取三个文件，您可以尝试以下操作:

awk '/---/{f="rendered-"(++i%3);}{print > f;}' app.yaml