nltk - 我们如何使用使用自定义数据集训练斯坦福 NER 标记器后生成的输出文件？

Question

执行此 Stanford NLP FAQ 中的步骤后，我能够生成模型的 zip 文件。但在文档中，他们使用 TSV 文件来计算针对已注释文件的预测准确性，但没有任何文档说明如何针对新文件对其进行测试!

用于生成模型的命令是

 java -Xmx10240m -cp 'path_to_stanford-ner.jar' edu.stanford.nlp.ie.crf.CRFClassifier -prop austen.prop

其中 austen.prop 是影响训练的属性

这里是 Java 初学者，如果这是一个愚蠢的问题，请原谅

Answer 1

解决方案是获取要针对模型测试的输入文件并将其转换为 TSV 文件，该文件可以通过以下命令提供给 ner 模型

java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -loadClassifier ner-model.ser.gz -testFile converted_to_tsv.tsv

这是一个在 python 中将文件转换为 TSV 的小脚本:

import json
import re
file = filepath
for line in open(file, mode="r",encoding = 'utf8'):
    regex = '[ ]'  
    with open('output.tsv','w+') as output_file:

        for line in list(filter(bool, file.splitlines())):

            for word in re.split(split_regex,line):
                print(word+"\tO")
                output_file.write(word+"\tO"+"\n")