elasticsearch - 我可以将roaringbitmap用于lucene反向索引

标签 elasticsearch lucene solar

我们有超过50亿个文档需要全文检索才能建立索引。所有这些文档都是静态的,不需要更改。

经过大量研究,我们发现使用带有Redis的咆哮位图来构建反向索引非常快,而且资源最少。

现在的问题是,我们可以在Lucene反向索引中使用咆哮的位图吗?

最佳答案

在Lucene世界中已经评估了使用咆哮位图的想法。您可以在这里查看全部结果-http://people.apache.org/~jpountz/doc_id_sets4.html

一般的想法是,尽管咆哮的位图是有效的,但只能用于以下两个功能:

  • 遍历所有匹配的文档(如果您运行恒定分数查询,可能是这种情况)
  • 前进到集合中包含的第一个文档ID,通常用于过滤器和查询
  • 之间的交集

    总而言之,我认为当前Lucene在大多数情况下都使用Elias-Fano编码,据估计该编码速度更快。这也意味着,您可以只使用Lucene并充满信心,它在构建倒排索引和处理查询方面的速度非常快

    关于elasticsearch - 我可以将roaringbitmap用于lucene反向索引,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58419937/

    相关文章:

    solr - Solr 中任何字段的空值或 null 值的 Facet

    java - Lucene 初学者教程

    java - Elastic Search Lucene 版本错误

    javascript - Elasticsearch 相当于 WHERE x = 1 AND (y = 2 OR y = 3)

    elasticsearch - 获取最新和最新的Elasticsearch索引

    java - 从 Elasticsearch 在 Elasticsearch Painless 脚本参数中传递动态值

    java - 在 java 中使用 String 查询 Elasticsearch

    python - 无法协调 PVLIB 输出与 NREL SAM

    pvlib - 导入天气数据时出现双面辐射错误