我在 t2.small节点和10gb EBS卷上使用AWS Elasticsearch。每隔5分钟,我会索引约5000个文档*。对于每个文档,我都手动传递唯一ID。由于大多数文档都已更新,因此对于几乎所有文档来说都可以是版本2或3。
还值得一提的是,每天我都会运行delete_by_query
操作来删除超过一周的文档。
通常,批量插入的等待时间小于1秒。但是今天突然之间,在短短几个小时内进行了两周的测试之后,等待时间增加到 3分钟,只是批量插入5000个文档。
我正在使用elasticsearch-py和awsauth。
我检查了AWS Cluster运行状况统计信息。自从出现了大容量插入延迟问题以来,旧垃圾回收时间似乎急剧增加。似乎这些之间可能存在关联。
该如何处理?是因为维护文档的多个版本还是使用查询删除功能?
最佳答案
这并不特别令人惊讶,但是仅由于变量太多,很难为您提供完整的答案。要考虑的一些事情:
关于python - AWS Elasticsearch批量插入延迟急剧增加,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57796827/