elasticsearch - ELK的规划能力需要考虑哪些因素?

标签 elasticsearch logstash kibana elastic-stack capacity-planning

我是ELK堆栈的新手,正在尝试学习它。
我想了解是否计划如何将100GB /天的数据容量保留30天,以及如何计划。
数据主要是访问日志,应用程序日志,事件。
我将需要运行一些正则表达式来填充数据字段(除非对此有任何默认的定界符支持)。
我打算保留3个副本。

如果为此需要多少台服务器和哪种类型的配置,可以请人指导我吗?

首先十分感谢 。

最佳答案

我们使用集群化的Elasticsearch实例的“热-热架构”(docs)(您可以在一台服务器上运行多个!)。每个具有31克内存。

我们的“热”实例配置了3天的保留时间和一次ssd突袭。在这三天之后,数据将转移到“热” HD Raid,保留时间为(30-90天)。很好,因为使用ssds可以在kibana中搜索最新数据,因此处理速度非常快。

有时,我们在一台服务器上启动了1个Elastic Master(4g内存)和2个Elastic Clients(31g内存)。

我认为这样的机器至少应具有128g内存,1tb ssd容量,4-6tb hd容量。

关于elasticsearch - ELK的规划能力需要考虑哪些因素?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52922421/

相关文章:

elasticsearch - 麋鹿 : Setup multiple http inputs of logstash ELK stack

Elasticsearch:根据日期范围聚合文档

elasticsearch - Elasticsearch,嵌套聚合

grails - 对Grails中的Elastic Search结果调用findBy…时发生TransientObjectException

elasticsearch - Logstash/Elasticsearch/Kibana 资源规划

elasticsearch - 有没有办法找出弹性堆栈上的负载是否正在增长?

elasticsearch - 在ElasticSearch中有一个子查询类型搜索

elasticsearch - 如何在不使用logstash的情况下将数据从csv导入java中的elasticsearch?

elasticsearch - 在Logstash 2.4中无法使用geo_ip

java - 从 Java 应用程序登录到 ELK,无需解析日志