我正在使用基本的Kafka-Logstash设置来与后端同步许多不同的应用程序。我对此有一个非常基本的了解。目前，我正在分析卡夫卡处理的数据。我想使用Kafka Connect将所有东西都放在Kibana板上，我不确定如何解决这个问题。
我发现this resource表示以下内容:
Whilst Kafka Connect is part of Apache Kafka itself, if you want to stream data from Kafka to Elasticsearch you’ll want the Confluent Platform.
我的问题是:
1.我必须使用Confluent来实现吗？
2.我应该使用Confluent来实现吗？
我还研究了其他工具，例如Prometheus，但据我所知，要实现类似Kibana的可视化并不容易。但是，如果我错了，请教育我!
最佳答案
我同时使用了Logstash(带有通过tcp输入插件的JSON数据)和Confluent的Kafka Connect flex 连接器(带有Avro数据)，两者都与常规Apache Kafka一起使用。因此，的答案是，不是。配置Kafka Connect只会花费更多时间，因为您必须构建源代码，所以应该是，当然，因为最终还是一样的Apache Kafka。
两者都可以与Kibana一起使用，但是当然，这取决于您如何在Elasticsearch中管理索引模式以及要摄取的数据。
如果您对设置Elasticsearch索引和类型映射一无所知，我个人认为Logstash会更简单，因为Logstash的Elasticsearch输出插件“可以正常工作”。我不记得我是否使用过Kafka输入插件，但我想它可以与任何其他输入相似地工作，但是如果您的生产者提供了一些非标准的序列化功能，则Kafka解串器可能会出现问题。人们将Protobuf数据放入Kafka)
我更多地看到了Prometheus / Grafana，而不是可视化。
关于elasticsearch - 可视化和分析来自Kafka的数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55064566/