c++ - fasttext 断言 "counts.size() == osz_"失败

标签 c++ fasttext

我正在尝试使用 fasttext 进行文本分类,我正在 Windows 上对 850MB 文本的语料库进行训练,但我不断收到以下错误:

assertion "counts.size() == osz_" failed: file "src/model.cc", line 206, function: void fasttext::Model::setTargetCounts(const std::vector<long int>&) Aborted (core dumped)

我检查了 counts.size()osz_ 的值,发现 counts.size = 2515626osz_ = 300。当我在 FastText::loadModel 的输入流上调用 in.good() 时,我得到 0,in.fail()=1 并且in.eof()=1.

我正在使用以下命令来训练和测试我的模型:

./fasttext supervised -input fasttextinput -output fasttextmodel -dim 300 -epoch 5 -minCount 5 -wordNgrams 2

./fasttext test fasttextmodel.bin fasttextinput

我的输入数据已根据 fasttext github 页面正确格式化,所以我想知道这是我的一些失败还是错误。

感谢您对此的支持!

最佳答案

关闭此线程:

正如@Sixhobbits 所指出的,该错误与 https://github.com/facebookresearch/fastText/issues/73 有关(保存fastText监督模型时磁盘空间不足)

关于c++ - fasttext 断言 "counts.size() == osz_"失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42978836/

相关文章:

c++ - STL 中基于容器的重载

c++ - 没有 .NET 框架的 GUI 简单快捷?

c++ - CUDA 链接错误 Visual Studio 2008

ubuntu - lsattr : Operation not permitted While reading flags on file in Ubuntu 16. 04

python - Fasttext 量化无监督模型

nlp - 如何将 gensim Word2Vec 模型转换为 FastText 模型?

java - 无法写入核心转储,Java 运行时环境检测到 fatal error

c++ - 伪装成字段的类方法

c++ - 转换double为Local8Bit