elasticsearch - 如何为ELK Stack中的节点分配CPU、RAM、Disk、Shards？

Question

我做了一个 ELK STACK，有 3 个节点，其中 1 个节点为主节点，2 个数据节点。 假设我有大约 1GB 的数据要与集群一起使用。 我需要知道

• 每个节点应包含多少分片

• 每个节点应分配多少 RAM 和 CPU

• 如何为节点分配最大存储空间

我在 Ubuntu 平台上构建 ELK Stack。

系统 1 属性

• 12GB 内存

• 500 GB 硬盘

系统2属性

• 8GB 内存

• 500 GB 硬盘

系统3属性

• 4GB 内存

• 500 GB 硬盘

由于有 3 个节点，所以我将分片数量设置为 9？(3*3=9)。使用 Rest API。

curl -X POST "http://localhost:9200/_template/default" -H 'Content-Type: application/json' -d'
{
  "index_patterns": ["*"],
  "order": -1,
  "settings": {
    "number_of_shards": "9",
    "number_of_replicas": "1"
  }
}
'

不知道是对还是错。

我需要建立一个健康的集群。

是否有分配分片、副本、RAM、磁盘空间等的方法或参数？

是否有任何方法可以根据文件大小找到理想的分片数量？

每个节点必须分配多少CPU Core？

到目前为止，我引用了以下链接来构建 ELK 集群。

• https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html#master-node

• https://thoughts.t37.net/designing-the-perfect-elasticsearch-cluster-the-almost-definitive-guide-e614eabc1a87

• https://bonsai.io/blog/ideal-elasticsearch-cluster

Answer 1

分片详细信息

一般来说，如果您预计数据不会显着增长，我们建议:

One primary shard is fine if you have less than 100K documents

One primary shard per node is good if you have over 100K documents

One primary shard per CPU core is good if you have at least a couple million documents

一个索引可以有多个分片，但任何给定的分片只能属于一个索引。

引用号:https://docs.bonsai.io/article/122-shard-primer