elasticsearch - Logstash和Filebeat设置event.dataset值

Question

我有一个配置，其中filebeat从一些文件中获取日志(使用自定义格式)，然后将这些日志发送到logstash实例。
在logstash中，我应用了gork过滤器以拆分某些字段，然后将输出发送到我的elasticsearch实例。
管道工作正常，并且已正确加载到Elasticsearch上，但是不存在事件数据(例如event.dataset或event.module)。因此，我正在寻找用于将此类信息添加到事件中的代码。
这是我的文件拍配置:

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

filebeat.inputs:
  - type: log
    paths:
      - /var/log/*/info.log
      - /var/log/*/warning.log
      - /var/log/*/error.log



output.logstash:
  hosts: '${ELK_HOST:logstash}:5044'

这是我的logstash管道:

input {
  beats {
    port => 5044
  }
}

filter {
    grok {
        match => { "message" => "MY PATTERN"}
    }
  mutate {
    add_field => { "logLevelLower" => "%{logLevel}" }
  }
  mutate {
    lowercase => [ "logLevelLower" ]
  }
}

output {
    elasticsearch {
    hosts => "elasticsearch:9200"
    user => "USER"
    password => "PASSWORD"
    index => "%{[@metadata][beat]}-%{logLevelLower}-%{[@metadata][version]}"
  }
}

Answer 1

您可以使用mutate/add_field过滤器轻松地做到这一点:

filter {
  mutate {
    add_field => {
        "[ecs][version]" => "1.5.0"
        "[event][kind]" => "event"
        "[event][category]" => "host"
        "[event][type]" => ["info"]
        "[event][dataset]" => "module.dataset"
    }
  }
}

Elastic Common Schema文档解释了如何为 kind , category and type 选择值。