python - 关于如何使用 python 检索和分析服务器日志的想法？

Question

首先，这个桌面应用程序实际上是为了给自己一个学习 python 和 gui 工作原理的借口。

我试图帮助我的客户直观地了解他们正在使用多少带宽、发生的时间以及访问者的位置。所有这些都将通过图表或任何最方便的方式显示。 (接下来，我想添加 cpu/mem 使用情况)

我认为最简单的方法是应用程序通过 sftp 连接，下载指定的日志，然后使用正则表达式过滤必要的信息。

我正在考虑使用:

Python 2.6
Pyside
Paramiko

开始。我正在考虑 sftp 部分的twisted，但我想现在保持简单可能是更好的选择。

这看起来正确吗？我应该尝试使用 sftp 吗？或者我应该尝试与我的站点中的某些子域进行交互以将日志推送到客户端？ (即 app.mysite.com)

用正则表达式来解析日志怎么样？

Answer 1

sftp 或 shell 到 rsync 似乎是检索日志的合理方法。至于解析它们，大多数人倾向于使用正则表达式。然而，还有其他方法。例如:

• Parse Apache logs to SQLite database
• Using pyparsing to parse logs 。这个正在解析一种不同类型的日志文件，但方法仍然很有趣。
• Parsing Apache access logs with Python 。作者实际上编写了一个小解析器，可以在 apachelogs 模块中使用。

你明白了。