machine-learning - Keras 文本预处理 - 将 Tokenizer 对象保存到文件以进行评分

Question

我已经按照以下步骤(大致)使用 Keras 库训练了一个情感分类器模型。

使用 Tokenizer 对象/类将文本语料库转换为序列

使用 model.fit() 方法构建模型

评估此模型

现在为了使用这个模型评分，我能够将模型保存到文件中并从文件中加载。但是我还没有找到将 Tokenizer 对象保存到文件的方法。如果没有这个，我每次需要对一个句子进行评分时都必须处理语料库。有没有解决的办法？

Answer 1

最常见的方法是使用 pickle 或 joblib .这里有一个关于如何使用 pickle 的示例。为了节省Tokenizer :

import pickle

# saving
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# loading
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)