elasticsearch - 如何使用Jest客户端一次从Elasticsearch一次获取一万多个文档

Question

ElasticSearch默认情况下会提供10条记录，但是我们可以设置size参数并获得10条以上的记录，但是有限制，如果我们对Elasticsearch使用Jest客户端，则只能设置10000作为记录大小，如果它超过1万然后抛出异常。

请帮助我使用Jest Client(java)在Elasticsearch中一次获取1万多个记录

提前致谢

Answer 1

存在该限制是有原因的-引用文档中的内容:

The index.max_result_window which defaults to 10,000 is a safeguard, search requests take heap memory and time proportional to from + size.

根据您的用例，有更好的选择:

实时/面向用户:使用具有良好响应时间和合理堆使用量的Search After(并避免进行深度分页)。

机器/批处理(通常读取所有数据):Scroll，它创建一个搜索上下文并在指定的时间内保持打开状态。只要上下文是开放的，结果也将是稳定的。