elasticsearch - Logstash Kafka主题作为Elasticsearch索引名的一部分

标签 elasticsearch apache-kafka logstash

我想将kafka主题用作es-indexname的一部分。这是我的示例,但这不起作用:

input {
  kafka {    
    ...
    decorate_events => true
  }
}

filter {    
  mutate {
    add_field => {"[@metadata][index]" => "[kafka][topic]"}
  }
}

output {
  elasticsearch {
    index => "kafka-%{[@metadata][index]}-%{+YYYY.MM.dd}"
    ...
  }
}

有人可以在此logstash.conf中找到问题吗?

最佳答案

你好,这是工作配置:

input {
  kafka {    
    ...
    decorate_events => true
  }
}

filter {    
  mutate {
    add_field => {"[@metadata][index]" => "%{[kafka][topic]}"}
  }
}

output {
  elasticsearch {
    index => "kafka-%{[@metadata][index]}-%{+YYYY.MM.dd}"
    ...
  }
}

关于elasticsearch - Logstash Kafka主题作为Elasticsearch索引名的一部分,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44901649/

相关文章:

scala - Spark + ElasticSearch 返回 RDD[(String, Map[String, Any])]。我怎样才能操纵Any?

apache-kafka - 当使用 @KafkaListener 时,我可以获得对底层 KafkaConsumer 的引用,因为我想读取 endOffsets

apache-kafka - 具有多个输出主题的 Kafka 流拓扑的并发性

elasticsearch - 获取索引上的字段数

java - 如何定义grok过滤?

json - 无法使用 Elasticsearch Watcher 正确转换 {{ctx.payload.hits.hits}}

php - 通过返回的id结果数组的elasticsearch查询未按传入的id数组排序

elasticsearch - 我可以在kibana中创建一个插件,该插件在kibana仪表板内的小部件菜单中给我 “Download as csv option”吗?

docker - Kubernetes多节点上的Kafka

ssl - logstash http_poller ssl 认证问题