我创建了具有4个数据节点,3个主节点,1个客户端节点(kibana)的ES群集(版本5.4.1)。
数据节点是r4.2xlarge aws实例(61g内存,8vCPU),并为ES JAVA分配了30G内存。
我们每天要写大约200G的日志,并保留过去14天。
我正在为我们的集群寻求建议,以提高集群性能,尤其是搜索性能(kibana)。
更多数据节点?更多的客户端节点?更大的节点?更多副本?任何可以提高性能的选项都是一种选择。
有没有人接近这个设计或负载?
我很高兴听到其他设计和负载。
谢谢,
摩西
最佳答案
大胆的猜测:您在IO方面受到限制。与EBS相比,本地磁盘更受欢迎,与旋转磁盘相比,SSD更受欢迎。如果可以的话,在该用例中,您将获得尽可能多的IOPS。
关于elasticsearch - 每天约200G日志的Elasticsearch集群设计,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45812172/