elasticsearch - 如果logstash将数据发送到elasticsearch的速度快于索引速度,那会发生什么?

标签 elasticsearch logstash elastic-stack logstash-configuration

所以我有多个主机,每个主机上都安装了logstash。所有这些主机上的Logstash从主机生成的日志文件中读取数据,并将数据发送到我的单个AWS Elasticsearch集群。

现在考虑一个场景,其中每个主机同时生成大量日志。由于logstash安装在每个主机上,并且仅将数据转发到es群集,因此我假设即使我的Elasticsearch群集无法为其编制索引,我的主机也不会受到影响。在这种情况下日志只是丢失了吗?

我的主机会受到任何影响吗?

最佳答案

简而言之,您可能会丢失主机上的一些日志,这就是为什么使用诸如kafka之类的消息传递解决方案的原因https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing

关于elasticsearch - 如果logstash将数据发送到elasticsearch的速度快于索引速度,那会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38052622/

相关文章:

elasticsearch - 如何解释elasticsearch中的query

用于 uwsgi 日志的 Logstash Grok 过滤器

elasticsearch - 如何减少 Logstash 的 RAM 使用量?

elasticsearch - Logstash-可以选择不基于数据转发日志吗?

elasticsearch - 如何使用补全字段为对象建立索引

elasticsearch - 在 ES : index name is only evaluated on starting execution 中使用 Alpakka 索引的 Akka Streams

elasticsearch - Elasticsearch multi_match cross_fields 前缀

elasticsearch - Logstash-从JSON解析对象设置时间戳

performance - 加快Elasticsearch的查询速度

Elasticsearch:桶排序聚合+字母字段排序