logstash - 消除Logstash中的顶级字段

Question

我正在使用 Logstash，我的一个应用程序正在向我发送以下字段:

[message][UrlVisited]
[message][TotalDuration]
[message][AccountsProcessed]

我希望能够折叠这些字段，删除顶级 留言 共。所以上面的字段会变成:

[UrlVisited]
[TotalDuration]
[AccountsProcessed]

有没有办法在 Logstash 中做到这一点？

Answer 1

假设所有这些子字段的名称事先已知，您可以使用 mutate filter :

filter {
  mutate {
    rename => ["[message][UrlVisited]", "UrlVisited"]
  }
  mutate {
    rename => ["[message][TotalDuration]", "TotalDuration"]
  }
  mutate {
    rename => ["[message][AccountsProcessed]", "AccountsProcessed"]
  }
  mutate {
    remove_field => ["message"]
  }
}

或者，使用 ruby filter (即使您不知道字段名称也有效):

filter {
  ruby {
    code => "
      event.get('message').each {|k, v|
        event.set(k, v)
      }
      event.remove('message')
    "
  }
}

此示例适用于 Logstash 2.4 及更高版本。对于早期版本，使用 event['message'].each ...和 event[k] = v反而。