elasticsearch - 如何仅收集Filebeat中的错误级别日志并发送给elasticsearch

Question

我正在使用filebeat 7.x收集日志数据，但是我遇到的问题是日志大小太大(每天100GB)。

现在，我在考虑如何从源文件中收集错误级别日志。做这个的最好方式是什么？

我正在使用filebeat将日志发送到Kubernetes集群中的elasticsearch，我在这里的担心是我是否必须使用kafka和logstash来定义规则？

请在下面找到正在使用的filebeat配置文件:

{
    "filebeat.yml": "filebeat.inputs:
        - type: container
          paths:
            - /var/log/containers/*.log
          processors:
          - add_kubernetes_metadata:
              host: ${NODE_NAME}
              matchers:
              - logs_path:
                  logs_path: \"/var/log/containers/\"

        output.elasticsearch:
          host: '${NODE_NAME}'
          hosts: '${ELASTICSEARCH_HOSTS:elasticsearch-master:9200}'
        "
}

Answer 1

我建议您将流程配置为:

Filebeat → Kafka → Logstash → ElasticSearch → Kibana

Filebeat按配置从服务器读取日志并将日志推送到Kafka主题。

然后，Logstash将订阅来自kafka主题的那些日志，并执行解析/过滤/格式化/排除，并根据要求包括字段，并将处理后的日志数据发送到Elasticsearch Index。

通过仪表板

可视化数据