php - 打开/处理 580GB 错误日志文件的建议

Question

一个 friend 让我帮他写一个简单的 php 脚本，我放在他们的 Wordpress 网站上。在这样做的过程中，我遇到了一些我认为可以帮助他解决的明显问题。然后我遇到了野兽。

一个 580 GB 的错误日志文件。

这是一个简单的博客，每月有数百万的浏览量和千兆字节的图片，但他不应该对它进行一些维护吗？我知道我可以 tail -f大多数情况下的日志文件，但我认为它可能会使行星碰撞试图打开一个那么大的文本文件。

问题

我应该告诉他擦掉它并从现在开始重新监控它，还是有适当的方法来查看过去 10 天的日志？我没有在他们的服务器上花费足够的时间(只是浏览了 FTP)来查看他们正在运行什么。

Answer 1

这为您提供了最后 100 行:

tail -n 100 logfile > last-100-lines.log

就“日期”而言，您还可以:

cat |grep '2012-12' > all-dec.log

不是，grep 的确切术语for 取决于日志文件的样子。这两个操作都需要一点时间来运行。如果这个应用程序是磁盘密集型的，你可能会因为磁盘饱和而遇到问题，因为这个怪物非常大，你不太可能有 600+ GB 的 RAM 并且该日志文件缓存在内存中。 ;-)

无论如何，为了踢球，试试bzip2 --best logfile然后下载它，然后在本地主机上评估它。

处理这么大的文件并不好，但它应该是可行的。