elasticsearch - 如何从现有日志中提取字段(ECS中的流利位)

Question

我已经在ECS集群上配置了Fluent-bit。我可以在Kibana中看到日志。但是所有日志数据都发送到单个字段“log”。如何将每个字段提取到一个单独的字段中。在这个问题上已经有流利的解决方案。

但是我如何才能使用流利的钻头呢？

Kuberntetes中有一个流利的解决方案:https://docs.fluentbit.io/manual/filter/kubernetes

如何在ECS中实现同一目标？

Answer 1

通常流利的比特发送确切的docker日志文件，该文件取自/var/lib/docker/containers/*/*.log您可以在计算机上浏览此路径，并查看它包含的JSON字符串以及刚提到的两个字段。

从这里您有多种方法，我将发现两种我很熟悉的方法:

使用logstash:

您应该很了解日志结构。这有助于您为解析日志字段创建正确的筛选器管道。通常，人们为此使用filter plugins。如果您添加日志示例，我将能够创建一个类似于this

的过滤器示例

使用elasticsearch ingest node。

您应该很了解日志结构。为了能够轻松创建processors pipeline来解析日志字段。一次以上，特定的日志示例可以帮助我们为您提供帮助。

最常用的过滤器/处理器是grok filter / processor。该工具有很多选项可用于解析任何日志中的结构化文本。