python-3.x - Sklearn tf-idf TfidfVectorizer 未能捕获一个字母单词

Question

一个特定的实例是“Queens Stop 'N' Swap”。转换后，我只得到了三个特征['Queens', 'Stop', 'SWap']。 'N' 已被忽略。如何捕获'N'？所有参数都是我的代码中的默认设置。

### Create the vectorizer method
tfidf_vec = TfidfVectorizer()

### Transform the text into tf-iwine vectors
text_tfidf = tfidf_vec.fit_transform(title_text)

Answer 1

您没有将 'n' 作为 token ，因为默认 token 生成器不将其视为 token :

from sklearn.feature_extraction.text import TfidfVectorizer

texts = ["Queens Stop 'N' Swap",]
tfidf = TfidfVectorizer(token_pattern='(?u)\\b\\w\\w+\\b',)
tfidf.fit(texts)
tfidf.vocabulary_
{'queens': 0, 'stop': 1, 'swap': 2}

要捕获 1 个字母标记，并保留大写，请将其更改为:

tfidf = TfidfVectorizer(token_pattern='(?u)\\b\\w+\\b',lowercase=False)
tfidf.fit(texts)
tfidf.vocabulary_
{'Queens': 1, 'stop': 2, 'N': 0, 'swap': 3}