python - Scikit SGDClassifier 使用字母而不是单词作为特征

Question

我正在尝试使用 this 之后的 SGDClassifier 对短语进行分类教程

我的管道如下所示:

p_clf = Pipeline([('vect', CountVectorizer(analyzer='word', ngram_range=(1, 2),
                                  token_pattern=r'\b\w+\b', min_df=1)),
                  ('tfidf', TfidfTransformer()),
                  ('clf', SGDClassifier(loss='log', penalty='l2',
                                        alpha=1e-3, n_iter=5, random_state=42)), ])

尽管我得到了正确的分类，但我不明白为什么它将字母视为特征而不是整个单词。在此示例中，当我调用 predict_proba('Hello') 时，我得到:

[[ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.11579265  0.19786962  0.36811551  0.31822223]]

每一行都是一个字母，每一列都是我的类(class)。 不是应该只有一行吗？

Answer 1

在您的情况下 'Hello' 被解释为字符数组，例如 ['H','e','l','l','o']. (请记住，predict_proba 需要一个数组或稀疏矩阵作为输入。)这可以通过将字符串放入列表中来解决:

predict_proba(['Hello'])