这似乎是一个反复出现的问题:
我们收到了我们软件的错误报告以及大量的跟踪或日志文件。
由于随着时间的推移日志消息/事件的可视化更容易发现错误，因此使用可以在图形等中显示事件进展的工具很方便。
(例如用于分析网络流量的 wireshark ( http://www.wireshark.org ))
您为此目的使用什么工具？
到目前为止，我使用的大多数工具的问题是，当您向它们提供大量数据痕迹(> 1GB)时，它们会无情地崩溃 因此，此类工具的一些标准是:
- 可以处理巨大的输入文件(> 1 GB)
- 速度非常快(因此您不必在加载文件时喝咖啡)
- 有某种过滤机制
最佳答案
这方面的好线程。 Tim Bray(以前在 Sun，现在在 Google)几年前举办了一场关于编写脚本来处理大量日志文件的比赛: http://www.tbray.org/ongoing/When/200x/2007/09/20/Wide-Finder
恕我直言，mpi4py 现在将是实现时间、运行时间和可扩展性方面的最佳解决方案。
此外，考虑使用 AWK 进行 oldskool。在最近的一场比赛中，它击败了 C/C++/Java， http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/
关于testing - 查看/分析/过滤大量痕迹/日志文件的最佳方式是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2470830/