我正在寻找最快 日志传送器，它可以直接将我的日志从kafka 传输到elasticsearch。 我可以列举一些方法来做到这一点:
- 卡夫卡 -> Elasticsearch
- Kafka -> Logstash -> Elasticsearch
- Kafka -> Golang -> Elasticsearch
- Kafka -> rsyslog -> Elasticsearch
- Kafka -> java/c/c++ -> Elasticsearch ...
谁能告诉我完成这项工作的最快方式(具有相同资源的最高 EPS)？ 提前致谢!
最佳答案
最快 很难说；有几个不错的选择，这将归结为包括您的硬件、消息大小等在内的因素。
对于 Kafka 内外的任何集成，我的起点始终是 Kafka Connect，因为它是 Apache Kafka 本身的一部分。有一个 connector for Elasticsearch您可以单独下载它以用于现有的 Kafka Connect 集群，或者作为 Confluent Platform 的一部分获取。
免责声明:我为 Confluent 工作。
关于elasticsearch - 将日志从 Kafka 发送到 Elasticsearch 的最快方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56160362/