Stanford NER 是否有类/方法来计算 Java 中的 Precision/Recall(不是命令行)?
我已经能够在 Java 中像这样在我的训练数据上训练我的模型:
Properties props = StringUtils.propFileToProperties("classifierTraining/austen.prop");
SeqClassifierFlags flags = new SeqClassifierFlags(props);
CRFClassifier<CoreLabel> crf = new CRFClassifier<CoreLabel>(flags);
crf.train();
crf.serializeClassifier("classifierTraining/model.ser.gz");
是否可以使用 Stanford NLP 包以编程方式对测试数据集执行交叉验证?我看到了this question从三年前开始,当时说“不”。
有没有办法在 Java 中以编程方式在测试数据集上运行经过训练的分类器,并获得准确率/召回率值(不使用命令行)?这样,我应该能够手动拆分数据集并在其上运行代码以进行交叉验证。
更新:我意识到在新的 3.7.0 包中,我可以使用以下方法来获得精确度、召回率和 F1,但这是所有类型实体(个人、组织、位置)的平均值。有没有办法为特定实体获取它们?
Triple<Double,Double,Double> scores = crf.classifyAndWriteAnswers("classifierTraining/testFileTokenized.txt", true);
最佳答案
通过CRFClassifier类扫描可以看出,下面的函数是用来做日志记录的
Triple<Double,Double,Double> classifyAndWriteAnswers(Collection<List<IN>> documents,
PrintWriter printWriter,
DocumentReaderAndWriter<IN> readerWriter,
boolean outputScores)
以上函数classifyAndWriteAnswers
电话 Triple<Double,Double,Double> printResults(Counter<String> entityTP, Counter<String> entityFP, Counter<String> entityFN)
它使用 Redwood 记录器打印出所有指标。
一个简单的 hack 就是在你的类中导入 Redwood 记录器,它有 main()
并对其进行配置,以便显示所有指标。
导入:import edu.stanford.nlp.util.logging.*;
并将其添加到您的 main() 中
StanfordRedwoodConfiguration.setup();
然后只需调用 classifyAndWriteAnswers
的任何实现即可与 outputScores = true
关于java - 评估 Stanford NER CRF 并以编程方式计算 Precision/Recall,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41900156/