java - 使用 elasticsearch 对文本进行分类

Question

我目前正在从事一个项目，该项目涉及从文本中识别不同的“关键词”。

例如，假设输入文本如下:

"This is an example of some text written from Buenos Aires about Meat".

进一步假设我的 elasticsearch 实例存储了以下文档:

Cities: [Barcelona, Buenos Aires, Los Angeles, ...]

和

Categories: [finance, politics, ..]

我需要一种方法来从输入文本中识别相应的城市和类别。

我的第一种方法是使用“或”运算符进行搜索查询，然后查看哪个排名最高。之后，我还将匹配的文档与文本重新匹配，以确保这些文本确实存在(换句话说，确保“洛杉矶”匹配，因为“洛杉矶”一词在文本中并且只有“los”或“天使”。

我想知道这是否是使用 Elasticsearch 执行此类操作的最佳实践方式。

Answer 1

我建议如下:

• 使用match_phrase查询以识别术语 los 和 angeles 存在并且以相同的顺序和位置存在
• 将每个查询包装在 named filter 中这样您就可以确定哪些匹配。

例如，创建这个文档:

curl -XPOST 'http://127.0.0.1:9200/test/test?pretty=1'  -d '
{
   "text" : "This is an example of some text written from Buenos Aires about Meat"
}
'

然后运行此查询以查找 Buenos Aires 或 Los Angeles:

curl -XGET 'http://127.0.0.1:9200/test/test/_search?pretty=1'  -d '
{
   "query" : {
      "constant_score" : {
         "filter" : {
            "or" : [
               {
                  "fquery" : {
                     "_name" : "buenos_aires",
                     "query" : {
                        "match_phrase" : {
                           "text" : "Buenos Aires"
                        }
                     }
                  }
               },
               {
                  "fquery" : {
                     "_name" : "los_angeles",
                     "query" : {
                        "match_phrase" : {
                           "text" : "Los Angeles"
                        }
                     }
                  }
               }
            ]
         }
      }
   }
}
'

# {
#    "hits" : {
#       "hits" : [
#          {
#             "_source" : {
#                "text" : "This is an example of some text written from Buenos Aires about Meat"
#             },
#             "_score" : 1,
#             "_index" : "test",
#             "_id" : "JIwnN_FVTv-0i5YGrlHLeg",
#             "_type" : "test",
#             "matched_filters" : [
#                "buenos_aires"
#             ]
#          }
#       ],
#       "max_score" : 1,
#       "total" : 1
#    },
#    "timed_out" : false,
#    "_shards" : {
#       "failed" : 0,
#       "successful" : 5,
#       "total" : 5
#    },
#    "took" : 58
# }

注意结果中的 matched_filters 元素，指示哪个过滤器匹配。