我的 Linux 服务器中有一个非常大的文件(目前超过 10GB)并且内容不断添加到文件的末尾。
我有另一个脚本需要一次处理大约 1000 行这个文件。从该文件中获取行并对其进行操作的最佳方法是什么。
我正在考虑使用 sed 命令来删除这些行。但这是最好的方法吗？
最佳答案
由于要监视的文件是纯文本文件(不是二进制文件)，您可以执行
tail -f my_big_fat_file | my_fancy_processing_script
您不会以 1000 行 block 的形式获取它，但是您的处理脚本可以累积这些行并开始处理，直到它收集到足够多的行。
关于linux - 如何在 Linux 中处理动态增长的大文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42409415/