第一个问题,如果我搞砸了,抱歉。
我正在做一个分类项目,涉及 1600 个独特的文本文档,超过 90 个标签。其中许多文档都是研究论文,因此您可以想象功能集相当大 - 远远超过一百万。
我的问题是矢量化永远。我知道根据我的数据,它不会很快,但它所花费的时间变得不切实际。我从第一个答案中获取了建议 this question它似乎没有帮助 - 我想象回答者建议的优化已经合并到 scikit-learn 中。
这是我的代码,使用调整后的词干向量化函数:
%%timeit
vect = StemmedCountVectorizer(min_df=3, max_df=0.7, max_features=200000, tokenizer=tokenize,
strip_accents='unicode', analyzer='word', token_pattern=r'\w{1,}',
ngram_range=(1, 3), stop_words='english')
vect.fit(list(xtrain) + list(xvalid))
xtrain_cv = vect.transform(xtrain)
xvalid_cv = vect.transform(xvalid)
分词器引用此函数:
stemmer = SnowballStemmer('english')
def stem_tokens(tokens, stemmer):
stemmed = []
for item in tokens:
stemmed.append(stemmer.stem(item))
return stemmed
def tokenize(text):
tokens = nltk.word_tokenize(text)
tokens = [i for i in tokens if i not in string.punctuation]
tokens = [i for i in tokens if all(j.isalpha() or j in string.punctuation for j in i)]
tokens = [i for i in tokens if '/' not in i]
stems = stem_tokens(tokens, stemmer)
return stems
%%timeit
报告:
24min 16s ± 28.2 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
有什么事情明显拖慢了我的速度吗?任何明显的效率低下的情况都值得了解。我正在考虑将我的 n-gram 范围减少到 (1,2),因为我认为我没有获得太多有用的 3-gram 特征,但除此之外,我不知道还能做什么。
最佳答案
1600 个文本文档实际上并没有那么大,所以它应该快得多。一些建议:
1) 要分析您的代码,请使用 cProfile and ptats 。您将看到具体哪些步骤较慢。
2) n-gram 具有巨大的复杂性。二元组通常没问题,三元组开始变得非常麻烦。使用“更智能”的解决方案。为什么不使用 gensim phraser ?
3) 使用 in
运算符不能很好地处理列表(因为它测试列表的每个元素),但可以很好地处理集合(因为底层的哈希函数)。您应该将字符串(例如 string.punctuation)视为列表。只需将其转换为集合即可。
4) 如果可以的话,分解您的 tokenize
函数(在 token
上进行多个循环)。
5) 如果不够快,请使用多线程。
关于python - 加速 sklearn 中的矢量化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47437398/