解析非常大的日志文件(>1Gb，<5Gb)

Question

我需要解析非常大的日志文件(>1Gb，<5Gb)——实际上我需要将数据剥离到对象中，以便将它们存储在数据库中。日志文件是连续的(没有换行符)，例如:

TIMESTAMP=20090101000000;PARAM1=Value11;PARAM2=Value21;PARAM3=Value31;TIMESTAMP=20090101000100;PARAM1=Value11;PARAM2=Value21;PARAM3=Value31;TIMESTAMP=20090101000152;PARAM1=Value11;PARAM2;=Value21;PARAM3Value=。 .

我需要将其剥离到表格中:

时间戳 |参数1 |参数2 |参数 3

该过程需要尽可能快。我正在考虑使用 Perl，但任何使用 C/C++ 的建议都会受到欢迎。有任何想法吗？

最好的祝福，

亚瑟

Answer 1

用 Perl 编写一个原型(prototype)，并将其性能与从存储介质中读取数据的速度进行比较。我的猜测是您将受到 I/O 限制，这意味着使用 C 不会提供性能提升。