java - 使用 Lucene 进行分词和索引，如何处理外部分词和词性？

Question

我想构建我自己的——我不确定是哪一个——分词器(从 Lucene 的角度来看)或我自己的分析器。我已经写了一个代码，用 word 标记我的文档(作为 List < String > 或 List <Word> 其中 Word 是一个只有一种容器的类3 public String : word, pos, lemma - pos 代表词性标签)。

我不确定要索引什么，也许只有“Word.lemma”或类似“Word.lemma + '#' + Word.pos”，可能我会根据词性从停用词列表中进行一些过滤。

顺便说一句，这是我的误解:我不确定我应该在哪里插入 Lucene API，

我应该将自己的分词器包装在新的分词器中吗？我应该重写 TokenStream 吗？我应该认为这是分析器而不是分词器的工作吗？或者我应该绕过所有内容，直接在索引中添加我的单词，使用 IndexWriter、Fieldable 等来直接构建索引？ (如果是的话，你知道在绕过分析过程时如何从头开始创建它自己的索引的任何文档吗)

最好的问候

编辑:可能最简单的方法应该是 org.apache.commons.lang.StringUtils.join my Word-s，在 my 的导出处留一个空格个人分词器/分析器并依靠 WhiteSpaceTokenizer 来提供 Lucene(和其他经典过滤器)？

编辑:所以，我已经阅读了Larsmans指出的EnglishLemmaTokenizer...但我仍然感到困惑的是，我用一个完整的 *List < Word > * (Word class wrapping .form/.pos/.lemma) 结束我自己的分析/标记化过程，这个过程依赖于一个外部我用 Java 包装的二进制文件(这是必须做的/否则不能做 - 它不是从消费者的角度来看，结果我得到了完整的列表)但我仍然不知道我应该如何再次包装它以回到正常的 Lucene 分析流程。

我还将使用 TF.IDF 的 TermVector 功能，比如评分(可能会重新定义我自己的)，我可能也对邻近搜索感兴趣，因此，在提供它们之前从他们的词性中丢弃一些词到 Lucene 内置分词器或内部分析器似乎是个坏主意。我很难想出一种“正确”的方式来将 Word.form/Word.pos/Word.lemma(甚至其他 Word.anyOtherUnterestingAttribute)包装成 Lucene 方式。

编辑: 顺便说一句，这是我受 @Larsmans 启发而编写的一段代码:

class MyLuceneTokenizer extends TokenStream {

    private PositionIncrementAttribute posIncrement;
    private CharTermAttribute termAttribute;

    private List<TaggedWord> tagged;
    private int position;

    public MyLuceneTokenizer(Reader input, String language, String pathToExternalBinary) {
        super();

        posIncrement = addAttribute(PositionIncrementAttribute.class);
        termAttribute = addAttribute(CharTermAttribute.class); // TermAttribute is deprecated!

        // import com.google.common.io.CharStreams;            
        text = CharStreams.toString(input); //see http://stackoverflow.com/questions/309424/in-java-how-do-i-read-convert-an-inputstream-to-a-string
        tagged = MyTaggerWrapper.doTagging(text, language, pathToExternalBinary);
        position = 0;
    }

    public final boolean incrementToken()
            throws IOException {
        if (position > tagged.size() -1) {
            return false;
        }

        int increment = 1; // will probably be changed later depending upon any POS filtering or insertion @ same place...
        String form = (tagged.get(position)).word;
        String pos = (tagged.get(position)).pos;
        String lemma = (tagged.get(position)).lemma;

        // logic filtering should be here...
        // BTW we have broken the idea behing the Lucene nested filters or analyzers! 
        String kept = lemma;

        if (kept != null) {
            posIncrement.setPositionIncrement(increment);
            char[] asCharArray = kept.toCharArray();
            termAttribute.copyBuffer(asCharArray, 0, asCharArray.length);
            //termAttribute.setTermBuffer(kept);
            position++;
        }

        return true;
    }
}

class MyLuceneAnalyzer extends Analyzer {
    private String language;
    private String pathToExternalBinary;

    public MyLuceneAnalyzer(String language, String pathToExternalBinary) {
        this.language = language;
        this.pathToExternalBinary = pathToExternalBinary;
    }

    @Override
    public TokenStream tokenStream(String fieldname, Reader input) {
        return new MyLuceneTokenizer(input, language, pathToExternalBinary);
    }
}

Answer 1

这里有多种选择，但是当我尝试在 Lucene 中包装词性标注器时，我发现实现一个新的 TokenStream 并将其包装在一个新的 Analyzer 中是最简单的选择。无论如何，直接使用 IndexWriter 似乎不是个好主意。你可以找到我的代码 on my GitHub .