elasticsearch - 在多用途(即非专用)集群上运行Elasticsearch有任何不利之处吗？

Question

我只是使用GKE的一次单击来设置一个Elasticsearch(ES)3节点集群来部署配置。每个节点均为n1-standard-4机器类型(4vCPU / 15GB RAM)。我一直在专用于该目的的群集上运行ES(性能原因，关注点分离，使我的生活更容易调试机器故障)，并且目前，此GKE群集是相同的。

但是，我有一组批处理作业，我想移植到GKE群集上运行。由于它会更新几个大文件，因此我希望它也可以在有状态的群集上运行(就像ES)，因此我可以每天将更新的文件移到云中一次，而不是每次运行都往返一次。有问题的批处理作业每天以5分钟，15分钟或每天的频率运行约18小时。

现在我的问题是，鉴于现有的ES集群，部署此批处理的最佳方法是什么？

创建一个全新的集群吗？

创建另一个节点池？

创建一个单独的 namespace 并增加集群的自动缩放？

我缺少其他方法吗？

注意:我一般会使用GKE和容器化几天

Answer 1

根据我的知识，我会再选nodepool或autoscaler。

Create an entirely new cluster?

对我来说，仅仅从事这些工作就太过分了。

Create another node pool?

我想说这与自动缩放器一样是最好的选择，只为作业创建一个新的节点池，如果没有其他事情要做，它将缩小为0。

Create a separate namespace and increase the cluster's autoscaling?

与另一个节点池相同，但是从我的 Angular 来看，如果您愿意这样做，则必须将节点标记为Elasticsearch，这样作业就无法从它们中获取任何资源，因此请通过评论回答您的问题

my question is more about if doing this with autoscaler within the same cluster would in any way affect elasticsearch esp with all the ES specific yaml configs?

就像我在上面说的那样，您不应该总是label 3个特定节点(默认节点池)仅与elasticsearch一起工作，然后什么也不会占用它们的资源，当需要更多资源来进行作业时集群会重新缩放并重新缩放到3个ES作业结束18小时工作时的节点。

Also with regards to the 6h node pool doing nothing comment, wouldn't I be able to avoid this on a new cluster or node pool with a minimum scaling parameter of zero?

基于gcp documentation，它将适用于nodepool，但不适用于新集群。

If you specify a minimum of zero nodes, an idle node pool can scale down completely. However, at least one node must always be available in the cluster to run system Pods.

tldr 如果您担心用于ES的资源，请为自动缩放器或其他节点池标记3个仅用于ES的节点。

希望它能回答您的问题。如果您还有其他问题，请告诉我。