elasticsearch - 有没有办法找出弹性堆栈上的负载是否正在增长?

标签 elasticsearch logstash kibana

我刚刚开始学习Elastic Stack,并且已经必须诊断生产问题。我们的设置有时会遇到使用Logstash将消息从ActiveMq拉到Elastic Search的问题。会有1-3小时的延迟。

一种怀疑是,在我们的应用程序的最新版本发布后,负载可能增加了。
有没有办法找出按月分组的邮件的总大小?不仅它们的数量,而且它们的总大小。也许文档的大小增加了,但是文档的数量却没有增加。

最佳答案

从设置生产监视实例开始,以提供有关集群的详细统计信息:https://www.elastic.co/guide/en/elastic-stack-overview/7.1/monitoring-production.html
这将使您获得消息/每月,平均文档大小,索引性能,缓冲区负载等指标。https://visualvm.github.io/提供了有关内部性能的更多详细信息
将这些部分放在一起时,您还可以调整Logstash的性能,例如

Tune Logstash worker settings:

Begin by scaling up the number of pipeline workers by using the -w flag. This will increase the number of threads available for filters and outputs. It is safe to scale this up to a multiple of CPU cores, if need be, as the threads can become idle on I/O.

You may also tune the output batch size. For many outputs, such as the Elasticsearch output, this setting will correspond to the size of I/O operations. In the case of the Elasticsearch output, this setting corresponds to the batch size.


https://www.elastic.co/guide/en/logstash/current/performance-troubleshooting.html

关于elasticsearch - 有没有办法找出弹性堆栈上的负载是否正在增长?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56599018/

相关文章:

c# - ElasticSearch NEST C#-如何使用注释设置数字格式模式?

ssl - 启动 : Logstash Forwarder

elasticsearch - 我可以只使用elasticsearch来使用Grafana吗?

elasticsearch - Nutch以外的其他与Elasticsearch合作的抓取工具

solr - 如何突出显示ElasticSearch或Solr中的所有术语?

elasticsearch - 如何在Elastic Search中处理html编码的文本?

elasticsearch - Elasticsearch Reindex API部分更新

elasticsearch - Logstash 从字符串创建值数组

python - 弹性查询失败,并显示以下错误异常:TransportError(400,u'search_phase_execution_exception',u'无法解析查询[*/abc *]')

elasticsearch - 从浏览器执行时,kibana安装错误