elasticsearch - 如何使用 logstash 过滤器解析 xml 文件

Question

我正在尝试使用 elasticsearch 和 logstash 索引一些简单的 XML 文件。到目前为止，我已经设置了 ELK-stack 和 logstash-forwarder。我正在尝试使用 documentation设置一个 xml 过滤器，但我似乎无法正确处理。

我的 XML 格式非常简单；

<Recording>

  <DataFile description="desc" fileName="test.wav" Source="mic" startTime="2014-12-12_121212" stopTime="2014-12-12_131313"/>

</Recording>

我只希望每个文件都是 elasticsearch 中的一个条目，并且 DataFile-tag 中的每个参数都是我可以搜索的键值。由于文档让我无处可去，这样的过滤器看起来如何？我也尝试使用 this 中的答案和 this没有任何运气。

Answer 1

在您的 logstash-forwarder 配置中添加以下内容，并相应地更改 logstash 服务器 IP、证书路径和日志路径。

{
"network": {
"servers": [ "x.x.x.x:5043" ],
"ssl ca": " / cert/server.crt",
"timeout": 15
},
"files": [
{
"paths": [
"D:/ELK/*.log"
],
"fields": { "type": "log" }
}
]
}

在您的 logstash 服务器配置中添加以下输入插件。相应地更改证书、 key 路径和名称。

lumberjack {
  port => 5043
  type => "lumberjack"
  ssl_certificate => " /cert/server.crt"
  ssl_key => "D:/ELK/logstash/cert/server.key"
  codec => multiline {
             pattern => "(\/Recording>)"
             what => "previous"
            negate => true
            }
}

现在在您的 logstash 过滤器部分下添加以下 grok 过滤器

grok {
        match   =>  ["message", "(?<content>(< Recording(.)*?</Recording>))"]
        tag_on_failure => [ ]

        }

最后在logstash输出 session 中添加

elasticsearch {
                    host => "127.0.0.1"
                    port => "9200"
                    protocol => "http"
                    index => "Recording-%{+YYYY.MM.dd}"
                    index_type => "log"
                } 

现在，当您将 xml 消息添加到日志文件中时。每个条目都将被处理并存储在您的 Elasticsearch 服务器中。

谢谢，