search - elasticsearch ngrams:为什么匹配较短的 token 而不是较长？

Question

我有一个带有以下映射和分析器的索引:

settings: {
    analysis: {
      char_filter: {
        custom_cleaner: {
          # remove - and * (we don't want them here)
          type: "mapping",
          mappings: ["-=>", "*=>"]
        }
      },
      analyzer: {
        custom_ngram: {
          tokenizer: "standard",
          filter: [ "lowercase", "custom_ngram_filter" ],
          char_filter: ["custom_cleaner"]
        }
      },
      filter: {
        custom_ngram_filter: {
          type: "nGram",
          min_gram: 3,
          max_gram: 20,
          token_chars: [ "letter", "digit" ]
        }
      }
    }
  },
  mappings: {
    attributes: {
      properties: {
        name: { type: "string"},
        words: { type: "string", similarity: "BM25", analyzer: "custom_ngram" }
      }
    }
  }
}

我在索引中有以下2个文档:
"name": "shirts", "words": [ "shirt"]
和
"name": "t-shirts", "words": ["t-shirt"]
我执行多重比对查询

"query": {

            "multi_match": {
               "query": "t-shirt",
               "fields": [
                  "words",
                  "name"
               ],
               "analyzer": "custom_ngram"
            }

   }

问题:

衬衫的得分为1.17，而T恤的得分为0.8。
为什么会这样，我如何才能使T恤(直接匹配)获得更高的分数？

在另一个用例中，我需要使用ngrams，其中必须检测包含匹配项。 (衬衫是肌肉衬衫，...)因此，我想我不能跳过ngram。

谢谢!

Answer 1

我相信这是因为您使用的是StandardTokenizer，它将字符串“t-shirt”标记化为标记“t”和“shirt”。但是，“t”短于最小克大小，因此不会生成任何 token 。因此，在每种情况下，您都将获得相同的匹配项，但是带有t-shirt的文档较长，因此得分较低。

您可以使用Explain API获得有关为什么文档获得分数的详细信息。

您确定需要使用ngram吗？您的示例“muscle-shirt”中的“shirt”应该由StandardAnalyzer处理，它将在连字符上标记化。