python - elasticsearch-py 扫描并滚动返回所有文档

Question

我正在使用 elasticsearch-py 连接到包含超过 300 万个文档的 ES 数据库。我想返回所有文档，以便我可以抽象数据并将其写入 csv。使用以下代码，我能够轻松地为 10 个文档(默认返回)完成此操作。

es=Elasticsearch("glycerin")
query={"query" : {"match_all" : {}}}
response= es.search(index="_all", doc_type="patent", body=query)

for hit in response["hits"]["hits"]:
  print hit

不幸的是，当我尝试执行扫描和滚动以便获取遇到问题的所有文档时。我尝试了两种不同的方法，但没有成功。

方法一:

scanResp= es.search(index="_all", doc_type="patent", body=query, search_type="scan", scroll="10m")  
scrollId= scanResp['_scroll_id']

response= es.scroll(scroll_id=scrollId, scroll= "10m")
print response

之后scroll/它给出了滚动 ID，然后以 ?scroll=10m (Caused by <class 'httplib.BadStatusLine'>: '')) 结束

方法二:

query={"query" : {"match_all" : {}}}
scanResp= helpers.scan(client= es, query=query, scroll= "10m", index="", doc_type="patent", timeout="10m")

for resp in scanResp:
    print "Hiya"

如果我在 for 循环之前打印出 scanResp，我会得到 <generator object scan at 0x108723dc0> .因此，我相对确定我的滚动条以某种方式搞砸了，但我不确定在哪里或如何修复它。

结果: 再次，在 scroll/ 之后它给出了滚动 ID，然后以 ?scroll=10m (Caused by <class 'httplib.BadStatusLine'>: '')) 结束

我尝试增加传输类的最大重试次数，但这并没有什么不同。我非常感谢任何有关如何解决此问题的见解。

注意:我的 ES 位于同一网络的远程桌面上。

Answer 1

python 扫描方法正在生成对 rest api 的 GET 调用。它正在尝试通过 http 发送您的 scroll_id。最可能的情况是您的 scroll_id 太大而无法通过 http 发送，因此您会看到此错误，因为它没有返回任何响应。

因为 scroll_id 会根据您拥有的分片数量而增长，所以最好使用 POST 并以 JSON 格式发送 scroll_id 作为请求的一部分。这样你就可以绕过它对于 http 调用来说太大的限制。