python - 如何正确转换 tfidf 和 "fit"文本分类器的值？

Question

我正在编写一个朴素贝叶斯分类器，因为我有一大组文本文档需要分类。但是，当我尝试测试我的预测时，出现以下错误

sklearn.utils.validation.NotFittedError: TfidfVectorizer - Vocabulary wasn't fitted.

在此处提问之前我做了什么

我知道朴素贝叶斯分类的工作原理。

                         P(B|A)*P(A)
  P(A|B) =           ____________________

           P(B|A)*P(A) + P(B|C)*P(C) +...+P(B|n)*P(n)

其中 A 到 n 是要分类的不同类别，P(B|A) 是在 A 已发生的情况下发生 B 的概率，P(A) 是 A 发生的概率。应该指出的是，我专门研究多项式朴素贝叶斯。

我还发现了这个问题:

SciPy and scikit-learn - ValueError: Dimension mismatch

以及这个问题

cannot cast array data when a saved classifier is called

但是，当我尝试做出预测或测试我的预测时，我仍然遇到问题。

我编写了以下函数来创建训练和测试集

def split_data_set(original_data_set, percentage):
    test_set = []
    train_set = []

    forbidden = set()

    split_sets = {}

    if is_float(percentage):
        stop_len = int(percentage * len(original_data_set))

    while len(train_set) < stop_len:
        random_selection = randrange(0, len(original_data_set))
        if random_selection not in forbidden:
            forbidden.add(random_selection)
            train_set.append(original_data_set[random_selection])

    for j in range(0, len(original_data_set)-1):
        if j not in forbidden:
            test_set.append(original_data_set[j])

    split_sets.update({'testing set': test_set})
    split_sets.update({'training set': train_set})
    split_sets.update({'forbidden': forbidden})

    return split_sets

创建并训练模型

def create_and_fit_baes_model(data_set):

    train = []
    expect = []

    for data in data_set['training set']:
        train.append(data[1])
        expect.append(data[0])

    vectorizer = TfidfVectorizer(min_df=1)

    # I think this is one of the places where I'm doing something 
    # incorrectly
    vectorized_training_data = vectorizer.fit_transform(train)


    model = MultinomialNB()


    model.fit(vectorized_training_data, expect)

    return model

并测试我的模型

def test_nb_model(data_set, model):

    test = []
    expect = []

    for data in data_set['testing set']:
        test.append(data[1])
        expect.append(data[0])

    #This is the other section where I think that 
    # I'm doing something incorrectly
    vectorizer = TfidfVectorizer(min_df=1)
    vectorized_testing_data = vectorizer.transform(test)
    fitted_vectorized_testing_data = vectorizer.fit(vectorized_testing_data)

    predicted = model.predict(fitted_vectorized_testing_data)

    print(metrics.confusion_matrix(expect,predicted))
    print(metrics.classification_report(expect, predicted))

我相信我在转换/适配阶段遇到了问题。

我知道 tfidf 矢量化的工作原理如下

这将是一个由具有不同术语计数的文档组成的常规矩阵。

     _term1____term2____term3____termn____________
doc1|   5  |    0   |     13   |   1
doc2|   0  |    8   |     2    |   0
doc3|   1  |    5   |     5    |   10
.   |   .  |    .   |     .    |   .
.   |   .  |    .   |     .    |   .
.   |   .  |    .   |     .    |   .
docn|   10 |    0   |     0    |   0

从这里，您可以应用加权方案来确定特定单词对您的语料库的重要性。

我知道所有这些在理论上是如何运作的，并且我可以在纸上计算出数学结果，但是当我尝试阅读 the documentation 时对于 sklearn，我仍然对如何编写所有代码感到有点困惑。

这两天我一直在纠结这个问题。如果有人可以提供一些关于我做错了什么以及如何充分训练和运行我的模型的见解，我将不胜感激。

Answer 1

我认为最干净的选择是使用Pipeline将矢量化器与分类器打包；然后，如果您调用 model.fit，这将适合矢量化器的词汇表和术语频率，并使它们可用于以后的函数。这样，您仍然可以从训练函数中返回单个“模型”，如果需要保存模型，您也可以对其进行pickle。

from sklearn.pipeline import Pipeline

def create_and_fit_model(data):
    # ... get your train and expect data
    vectorizer = TfidfVectorizer(min_df=1)
    nb = MultinomialNB()
    model = Pipeline([('vectorizer', vectorizer), ('nb', nb)])
    model.fit(train, expect)
    return model

顺便说一下，您不需要为训练/测试分割编写自己的代码，您可以使用sklearn.cross_validation.train_test_split。另外，您应该考虑使用 pandas 来存储数据，而不是简单的列表；这将使提取列变得更容易。