我有一个超过 40G 的数据集。由于内存有限，我的分词器程序被终止，所以我尝试分割我的数据集。如何增量训练word2vec模型，即如何使用单独的数据集来训练一个word2vec模型？
我当前的word2vec代码是:
model = gensim.models.Word2Vec(documents, size=150, window=10, min_count=1, workers=10)
model.train(documents,total_examples=len(documents),epochs=epochs)
model.save("./word2vec150d/word2vec_{}.model".format(epochs))
如有任何帮助，我们将不胜感激!
最佳答案
我找到了解决方案:使用PathLineSentences。它非常快。增量训练 word2vec 模型无法学习新词汇，但 PathLineSentences 可以。
from gensim.models.word2vec import PathLineSentences
model = Word2Vec(PathLineSentences(input_dir), size=100, window=5, min_count=5, workers=multiprocessing.cpu_count() * 2, iter=20,sg=1)
对于单个文件，请使用LineSentences。
from gensim.models.word2vec import LineSentence
model = Word2Vec(LineSentence(file), size=100, window=5, min_count=5, workers=multiprocessing.cpu_count() * 2, iter=20,sg=1)
...
关于python - 如何使用新词汇增量训练 word2vec 模型，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58925659/