elasticsearch - Elasticsearch Reindex卡住了

标签 elasticsearch elastic-stack

上下文

我们有两个Elasticsearch集群,每个集群有6个和3个节点。具有6个节点的集群是我们在生产环境中使用的集群,而我们将具有3个节点的集群用于测试目的。 (我们在两个集群中都有相同的问题)。所有节点具有以下特征:

  • Elasticsearch 7.4.2
  • 1TB硬盘磁盘
  • 8 GB RAM

  • 在我们的情况下,我们需要重新索引一些索引。这些索引具有数十亿个文档,大小在50GB至250GB之间。

    问题

    每当我们在内部或从远程源开始重新索引编制时,任务便会开始正常工作,但是会到达停止重新编制索引的地步,没有明显的原因。我们在日志中看不到任何东西。该任务不会被取消或执行任何操作,只会停止为文档重新编制索引,看起来任务卡住了。我们尝试更改GC策略,使用了CMS和Shenandoah,但没有任何变化。

    有人遇到过同样的问题吗?

    最佳答案

    如果不调试这些RCA,并且仅提供很少的信息,就很难找到它们的RCA(缺少集群和索引配置,索引慢日志信息,elasticsearch错误日志,Elasticsearch热线程等)。

    但是由于很难提供所有信息并进行实时调试,因此Opster's tips to improve the reindexing performance可以帮助找到RCA或提高重新索引性能。

    您还可以检查identify the search slow logs,该文件也包含有关如何分析慢日志的说明,您也可以将其应用于慢日志的索引。

    如果您还有其他问题,请告诉我。

    关于elasticsearch - Elasticsearch Reindex卡住了,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62000667/

    相关文章:

    ruby - 为什么 Postgres 全文搜索和 Elasticsearch 对结果的排名不同?

    php - 在elasticsearch索引中存储带有可选参数的日期时间?

    monitoring - 实现类似指标聚合器的云监视以实时监控应用程序

    javascript - Elasticsearch 是一个单独的数据库还是与 MongoDB 或其他数据库一起使用?

    elasticsearch - 如何使用 logstash 过滤器解析 xml 文件

    elasticsearch - Kibana:报告不同的日期间隔,例如今天,昨天,上周

    amazon-web-services - Lambda S3 getObject流到ES接收管道

    ruby-on-rails - 重定向搜索表单

    node.js - ./node_modules/elasticsearch/src/lib/utils.js 中的错误找不到模块 : Error: Can't resolve 'path' in\node_modules\elasticsearch\src\lib'

    java - Elasticsearch默认不考虑字符串字段并且不给出正确的匹配结果