elasticsearch - 我可以在Logstash和Elasticsearch之间使用Kafka吗? (使用两个卡夫卡)

标签 elasticsearch apache-kafka elastic-stack

我正在尝试将 Apache Kafka flex 堆栈集成(节拍,Logstash,Elasticsearch和Kibana)

enter image description here

从图中可以看出,Kafka位于Beats和Logstash之间。我想知道是否可以在Logstash和Elasticsearch之间放置另一个Kafka。 (我用红笔画的地方。)

两个卡夫卡的声音还好吗?

有什么想法或想法要分享吗?

最佳答案

是。

  • Logstash可以作为输出写入Kafka。
  • 您可以使用Kafka Connect Elasticsearch从Kafka流式传输到Elasticsearch。

  • 如果您想在此处使用Kafka缓冲/缩放Logstash的输出,则可能并且很有意义。

    但是请记住,您还可以:

    (a)从Beats写入Kafka,并使用KSQL / Kafka Streams等进行任何处理,然后再写回Kafka,然后再将Kafka连接到Elasticsearch
    要么
    (b)只需从Logstash写入Elasticsearch

    关于elasticsearch - 我可以在Logstash和Elasticsearch之间使用Kafka吗? (使用两个卡夫卡),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56107414/

    相关文章:

    c# - Elasticsearch 嵌套 : Fetching random documents

    elasticsearch - 弹性动态字段映射

    elasticsearch - 有人对Elastic-search和GraphQL比较进行过研究吗?

    elasticsearch - 使用ELK查找丢失的日志

    elasticsearch - 德鲁伊与 Elasticsearch

    Elasticsearch根据满足过滤器的数组中的元素进行排序

    apache-kafka - Kafka 消费者路径不得以/字符结尾

    jakarta-ee - 事件溯源 : handle event schema changing

    elasticsearch - 发送到Elasticsearch之前,向字段添加额外的值

    java - KafkaConsumer 在轮询时进入无限期等待状态