solr - 为什么我的前导通配符搜索在 Solr 中失败?

标签 solr tokenize lucene

我定义了一个文本字段,我使用 copyField 来填充各种源字段,目标是让这个字段成为我用来搜索 Solr 索引的字段。

此文本字段定义为使用此自定义字段类型“text_en_splitting_reversed”。我通过复制示例“text_en_splitting”并将 ReversedWildcardFilterFactory 添加到索引分析器来创建此字段类型。

<!-- Just like text_en_splitting, but with the addition of reversed tokens for leading wildcard matches -->
<fieldType name="text_en_splitting_reversed" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <!-- in this example, we will only use synonyms at query time
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
    -->
    <!-- Case insensitive stop word removal.
      add enablePositionIncrements=true in both the index and query
      analyzers to leave a 'gap' for more accurate phrase queries.
    -->
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
    <filter class="solr.ReversedWildcardFilterFactory" withOriginal="true"
       maxPosAsterisk="3" maxPosQuestion="2" maxFractionAsterisk="0.33"/>
 </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"  types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
  </analyzer>
</fieldType>

我的主要问题:当我使用前导通配符进行搜索时,我得到了意想不到的结果。例如,我知道我正在为“*car”做的一个特定搜索应该返回一个匹配项(文档包含单词“racecar”)。由于失败,我决定在 Solr Admin 的分析器工具中调试它。这是我的测试截图:

Leading wildcard issue

我是这个分析器工具的新手,但右侧不应该一直保留前导星号吗?为什么这最终不匹配?我是否希望对用户输入的关键字进行反向处理?

现在,在我的索引查询配置中,我设置为使用 edismax。但是,在管理分析器 gui 中,我看不到一种方法来控制它是使用标准解析器还是 edismax。 (也许没关系?)

如果此信息可能有助于提供更多背景信息,我将针对这个被索引的特定字段列出我的目标:

  • 我想要 *car 来匹配 racecar。 这不起作用。
  • 我希望 $30 匹配包含 $30 的文档,但不匹配包含 30(前面没有美元符号)的文档。所以我添加了一个 types=""属性,我将 $ 定义为数字。这正在工作。
  • 我想要 30 个来匹配包含 $30 的文档。 这不起作用。

最佳答案

从您的屏幕截图中可以清楚地看出 WordDelimiterFilterFactory 已经剥离了您的前导 *.尝试将 preserveOriginal="1" 添加到您的查询分析器端,即

<filter class="solr.WordDelimiterFilterFactory" 
    preserveOriginal="1" 
    generateWordParts="1" 
    generateNumberParts="1" 
    catenateWords="0" 
    catenateNumbers="0" 
    catenateAll="0" 
    splitOnCaseChange="1" 
    types="word-delim-types.txt" />

关于solr - 为什么我的前导通配符搜索在 Solr 中失败?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14866675/

相关文章:

solr - lucene ngram tokenizer 用于模糊短语匹配

.net - 使用 Lucene 搜索电子邮件地址

java - 索引时间字段在 solr 6.1.0 中未建立索引。给出错误为未定义字段 : "event_timestamp"

java - Solr 无法完全导入 cassandra DB

c# - C# 中带标志的 cURL 调用

java - 自定义标记器 solr 仅在第一次调用

java - Lucene:我是否正确解析了字符串?术语或短语?

java - Alfresco Solr 查询内容

Python Pandas NLTK 标记 Pandas 数据帧中的列 : expected string or bytes-like object

C++ 使用 boost 对字符串进行标记并将标记保存为字符串