python - ElasticSearch切片滚动限制(Python)

标签 python elasticsearch scroll size

我正在使用庞大的(500万个文档)ElasticSearch数据库,并且需要使用python中的 slice 滚动来获取数据。问题是:是否有某种方法可以限制(设置size参数) slice 滚动?我试图通过size[search obj].param(size=500000)设置[:500000]参数,但它似乎不起作用- slice 滚动显示了我所有的文档。

在我的脚本中,我将 slice 滚动与python多处理结合使用,如下所示:
https://github.com/elastic/elasticsearch-dsl-py/issues/817

有什么方法可以使用 slice 滚动获取例如500000个文档?

提前致谢。

最佳答案

来自github的答案:

“滚动没有限制,它总是返回所有文档。要仅获取一个子集,只需在使用break语句或类似方法获取要检索的数字后,就停止使用迭代器。”

https://github.com/elastic/elasticsearch-dsl-py/issues/817

关于python - ElasticSearch切片滚动限制(Python),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59784639/

相关文章:

python - 将 Python 包添加到 Buildroot

python - Pandas :按多列中的值过滤

python - Python for 循环迭代

elasticsearch - Elastic Search 7.9:在多个字段上完全相同

filter - ElasticSearch 中查询和过滤器的区别

elasticsearch - 集群卡在节点故障

scroll - 在 GTK+ 应用程序中拖动滚动

jquery - 知道垂直滚动条何时到达 div 滚动条的底部

javascript - 使用 .on ('scroll' ) 和 .each() 函数每个运行一次

python : Display a Dict of Dicts using a UI Tree for the keys and any other widget for the values