java - TermQuery未提供预期结果作为QueryParser-Lucene 7.4.0

原文 标签 java indexing lucene

我正在使用StandardAnalyser索引10个文本文档。

public static void indexDoc(final IndexWriter writer, Path filePath, long timstamp)
    {
        try (InputStream iStream = Files.newInputStream(filePath))
        {
            Document doc = new Document();

            Field pathField = new StringField("path",filePath.toString(),Field.Store.YES);
            Field flagField = new TextField("ashish","i am stored",Field.Store.YES);
            LongPoint last_modi = new LongPoint("last_modified",timstamp);
            Field content = new TextField("content",new BufferedReader(new InputStreamReader(iStream,StandardCharsets.UTF_8)));

            doc.add(pathField);
            doc.add(last_modi);
            doc.add(content);
            doc.add(flagField);

            if(writer.getConfig().getOpenMode()==OpenMode.CREATE)
            {
                System.out.println("Adding "+filePath.toString());
                writer.addDocument(doc);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }



    } 


上面是用于索引文档的代码段。
为了进行测试,我正在搜索一个名为“ ashish”的字段。

当我使用QueryParser时,Lucene会按预期提供搜索结果。

public static void main(String[] args) throws Exception
    {
        String index = "E:\\Lucene\\Index";
        String field = "ashish";
        int hitsPerPage = 10;

        IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));
        IndexSearcher searcher = new IndexSearcher(reader);
        Analyzer analyzer = new StandardAnalyzer();

        QueryParser parser = new QueryParser(field, analyzer);

        String line = "i am stored";

        Query query = parser.parse(line);
      //  Query q = new TermQuery(new Term("ashish","i am stored"));
        System.out.println("Searching for: " + query.toString());



        TopDocs results = searcher.search(query, 5 * hitsPerPage);
        ScoreDoc[] hits = results.scoreDocs;

        int numTotalHits = Math.toIntExact(results.totalHits);
        System.out.println(numTotalHits + " total matching documents");

        for(int i=0;i<numTotalHits;i++)
        {
             Document doc = searcher.doc(hits[i].doc);
             String path = doc.get("path");
             String content = doc.get("ashish");
             System.out.println(path+"\n"+content);

        }



    } 


上面的代码演示了如何使用QueryParser检索所需的字段,该字段正常工作。它会命中所有10个文档,因为我正在为所有10个文档存储此字段。这里一切都很好。
Screenshot depicting search hits

但是,当我使用TermQuery API时,没有得到期望的结果。
我正在介绍我为TermQuery做的代码更改。

public static void main(String[] args) throws Exception
    {
        String index = "E:\\Lucene\\Index";
        String field = "ashish";
        int hitsPerPage = 10;

        IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));
        IndexSearcher searcher = new IndexSearcher(reader);
        Analyzer analyzer = new StandardAnalyzer();

      //  QueryParser parser = new QueryParser(field, analyzer);

        String line = "i am stored";

       // Query query = parser.parse(line);
       Query q = new TermQuery(new Term("ashish","i am stored"));
        System.out.println("Searching for: " + q.toString());

        TopDocs results = searcher.search(q, 5 * hitsPerPage);
        ScoreDoc[] hits = results.scoreDocs;

        int numTotalHits = Math.toIntExact(results.totalHits);
        System.out.println(numTotalHits + " total matching documents");

        for(int i=0;i<numTotalHits;i++)
        {
             Document doc = searcher.doc(hits[i].doc);
             String path = doc.get("path");
             String content = doc.get("ashish");
             System.out.println(path+"\n"+content);
             System.out.println("----------------------------------------------------------------------------------");
        }



    }


还附有TermQuery API执行的屏幕截图。
TermQuery API Usage

我对stackoverflow本身的示例Lucene TermQuery and QueryParser进行了一些研究,但未找到任何实际的解决方案,而且这些示例中的Lucene版本非常古老。

将不胜感激。

提前致谢!

最佳答案

我在这篇文章中得到了我问题的答案
link that explains how TermQuery works

TermQuery照原样搜索整个String。当索引数据经常被标记化时,此行为将给您不正确的结果。

在发布的代码中,我正在将整个搜索字符串传递给TermQuery,例如
查询q = new TermQuery(new Term(“ ashish”,“我已存储”));
现在在上述情况下,Lucene会按原样查找“我已存储”,这是永远不会找到的,因为在索引时此字符串已被标记化。
相反,我尝试搜索类似查询q = new TermQuery(new Term(“ ashish”,“ stored”));
以上查询给了我预期的结果。

谢谢,
阿什什

关于java - TermQuery未提供预期结果作为QueryParser-Lucene 7.4.0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51336488/

相关文章:

mysql - MySQL索引不起作用(特定于用例的情况)

indexing - 在ElasticSearch中创建索引时如何指定分析器

java - 使用Lucene进行前缀搜索

java - Lucene区分大小写和不区分大小写的搜索

search - Solr Ngram 匹配问题

java - ListView 在打开时删除选择

c++ - Eigen 矩阵库索引操作

java - hibernate :createQuery 在没有 Activity 事务的情况下无效

java - 为什么 ArrayList 仍然为空,但将另一个类中的对象添加到列表中有效?

java - 如何在 jOOQ 代码生成器和 Maven 中使用自定义策略?