上下文
我们有两个Elasticsearch集群,每个集群有6个和3个节点。具有6个节点的集群是我们在生产环境中使用的集群,而我们将具有3个节点的集群用于测试目的。 (我们在两个集群中都有相同的问题)。所有节点具有以下特征:
在我们的情况下,我们需要重新索引一些索引。这些索引具有数十亿个文档,大小在50GB至250GB之间。
问题
每当我们在内部或从远程源开始重新索引编制时,任务便会开始正常工作,但是会到达停止重新编制索引的地步,没有明显的原因。我们在日志中看不到任何东西。该任务不会被取消或执行任何操作,只会停止为文档重新编制索引,看起来任务卡住了。我们尝试更改GC策略,使用了CMS和Shenandoah,但没有任何变化。
有人遇到过同样的问题吗?
最佳答案
如果不调试这些RCA,并且仅提供很少的信息,就很难找到它们的RCA(缺少集群和索引配置,索引慢日志信息,elasticsearch错误日志,Elasticsearch热线程等)。
但是由于很难提供所有信息并进行实时调试,因此Opster's tips to improve the reindexing performance可以帮助找到RCA或提高重新索引性能。
您还可以检查identify the search slow logs,该文件也包含有关如何分析慢日志的说明,您也可以将其应用于慢日志的索引。
如果您还有其他问题,请告诉我。
关于elasticsearch - Elasticsearch Reindex卡住了,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62000667/