我正在使用庞大的(500万个文档)ElasticSearch数据库,并且需要使用python中的 slice 滚动来获取数据。问题是:是否有某种方法可以限制(设置size
参数) slice 滚动?我试图通过size
或[search obj].param(size=500000)
设置[:500000]
参数,但它似乎不起作用- slice 滚动显示了我所有的文档。
在我的脚本中,我将 slice 滚动与python多处理结合使用,如下所示:
https://github.com/elastic/elasticsearch-dsl-py/issues/817
有什么方法可以使用 slice 滚动获取例如500000个文档?
提前致谢。
最佳答案
来自github的答案:
“滚动没有限制,它总是返回所有文档。要仅获取一个子集,只需在使用break语句或类似方法获取要检索的数字后,就停止使用迭代器。”
https://github.com/elastic/elasticsearch-dsl-py/issues/817
关于python - ElasticSearch切片滚动限制(Python),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59784639/