python - 多个程序可以同时写入 STDOUT 吗？

Question

我目前正在使用 GNU Parallel 同时在多个大文件上运行 Python 脚本。我有一个主 Python 脚本，用于设置我需要处理的文件，然后调度 Parallel 在这些文件上运行相同的工作脚本。

当所有工作人员完成后，我需要将数据返回到主线程，而我目前只是写入文件并将它们拉出来。工作人员是否有可能将其腌制内容转储到 STDOUT 上供主设备收集，或者两个工作人员是否有可能同时开始写入 STDOUT 并相互交错？

基本上，STDOUT 会阻塞直到另一个程序完成吗？

Answer 1

在 shell 环境中，在后台启动各种作业，所有作业都写入 stdout，很有可能交错该输出，因为 stdout 上没有锁定.

但是，GNU Parallel 可以为它启动的各种作业重定向 stdout，并防止这种交错。有几个commmand line switches以及各种选项。

默认情况下输出是分组的:

--group
Group output. Output from each jobs is grouped together and is only printed when the command is finished. stderr (standard error) first followed by stdout (standard output). This takes some CPU time. In rare situations GNU parallel takes up lots of CPU time and if it is acceptable that the outputs from different commands are mixed together, then disabling grouping with -u can speedup GNU parallel by a factor of 10.

--group is the default. Can be reversed with -u.

但也可以使用其他选项，包括定向到文件。