为了创建机器学习算法,我制作了一个字典列表,并使用 scikit 的 DictVectorizer 为每个项目制作了一个特征向量。然后,我使用部分数据从数据集创建了一个 SVM 模型进行训练,然后在测试集上测试该模型(您知道,典型方法)。一切都很好,现在我想将模型部署到野外,看看它如何处理新的、未标记的、看不见的数据。如何保存特征向量以使新数据具有相同的大小/特征并使用 SVM 模型?例如,如果我想训练单词的存在:
[{
'contains(the)': 'True',
'contains(cat)': 'True',
'contains(is)': 'True',
'contains(hungry)': 'True'
}...
]
我使用一个列表进行训练,该列表具有相同的句子和数千种动物变体。当我向量化列表时,它会考虑提到的所有不同动物,并在向量中为每只动物创建一个索引('the'、'is' 和 'hungry' 不会改变)。现在,当我尝试在一个新句子上使用该模型时,我想预测一个项目:
[{
'contains(the)': 'True',
'contains(emu)': 'True',
'contains(is)': 'True',
'contains(hungry)': 'True'
}]
在没有原始训练集的情况下,当我使用 DictVectorizer 时,它会生成:(1,1,1,1)。这比用于训练我的模型的原始向量少了几千个索引,因此 SVM 模型将无法使用它。或者即使向量的长度是正确的,因为它是在大量句子上训练的,特征也可能与原始值不对应。如何获取新数据以符合训练向量的维度?永远不会有比训练集更多的特征,但不能保证所有特征都出现在新数据中。
有没有办法用pickle来保存特征向量?或者我考虑过的一种方法是生成一个字典,其中包含所有可能的值为“False”的特征。这会将新数据强制为适当的向量大小,并且只计算新数据中存在的项目。
我觉得我可能没有充分描述问题,所以如果有什么不清楚的地方,我会尝试更好地解释它。提前致谢!
编辑:感谢 larsman 的回答,解决方案非常简单:
from sklearn.pipeline import Pipeline
from sklearn import svm
from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer(sparse=False)
svm_clf = svm.SVC(kernel='linear')
vec_clf = Pipeline([('vectorizer', vec), ('svm', svm_clf)])
vec_clf.fit(X_Train,Y_Train)
joblib.dump(vec_clf, 'vectorizer_and_SVM.pkl')
流水线和支持向量机针对数据进行训练。现在所有 future 的模型都可以解开管道并在 SVM 中内置一个特征向量化器。
最佳答案
How do I get new data to conform to the dimensions of the training vectors?
通过使用 transform
方法代替 fit_transform
。后者从您提供的数据集中学习新词汇。
Is there a way to use pickle to save the feature vector?
Pickle 已训练的向量化器。更好的是,制作矢量化器和 SVM 的 Pipeline
并对其进行 pickle。您可以使用 sklearn.externals.joblib.dump
进行高效酸洗。
(另外:如果您传递 bool 值 True
而不是字符串 "True"
,向量化器会更快。)
关于python - 在 scikit-learn 中为新数据保存特征向量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24152282/