python - np.mean() 导致内存不足错误

Question

我在 SQL Server 2008 中有一个表，其中有 2800 万行。我只对一列感兴趣，并且想对该列执行一些文本分析。

作为第一步，我将查询限制为返回大约 120 万行(只有 1 列包含文本数据)。

我使用以下代码来向量化并计算每列的平均值，其中每列代表整个词汇表中的一个单词。

vectorizer = TfidfVectorizer(min_df=2, stop_words='english',tokenizer=tokenize)
X_train = vectorizer.fit_transform(trainer)
meanArray = np.mean(X_train.toarray(),axis=0)

遇到 X_train.toarray() 时，我收到以下错误:

Traceback (most recent call last):
  File "C:/Users/Administrator/PycharmProjects/Support_Dot_Com/PROD1_Analysis.py", line 69, in <module>
    meanArray = np.mean(X_train.toarray(),axis=0)
  File "C:\Anaconda\lib\site-packages\scipy\sparse\compressed.py", line 790, in toarray
    return self.tocoo(copy=False).toarray(order=order, out=out)
  File "C:\Anaconda\lib\site-packages\scipy\sparse\coo.py", line 239, in toarray
    B = self._process_toarray_args(order, out)
  File "C:\Anaconda\lib\site-packages\scipy\sparse\base.py", line 699, in _process_toarray_args
    return np.zeros(self.shape, dtype=self.dtype, order=order)
MemoryError

我知道 .toarray() 将稀疏矩阵转换为 numpy ndarray，这会占用内存。有没有办法在不使用 .toarray() 的情况下做同样的事情？

Answer 1

正如 Alexandre Iolov 在评论中所建议的，只需在稀疏矩阵上调用 mean 方法即可:

X_train.mean(axis=0)