正如标题所述,当我尝试使用 kmeans.fit()
时,出现内存错误。
我正在使用的数据集的大小:
print(np.size(np_list)): 1248680000
print(np_list.shape): (31217, 40000)
我正在运行的代码给我带来了内存错误:
with open('np_array.pickle', 'rb') as handle:
np_list = pickle.load(handle)
kmeans = KMeans(n_clusters=5)
kmeans.fit(np_list)
centroids = kmeans.cluster_centers_
labels = kmeans.labels_
print(centroids)
print(labels)
我正在处理一个由 32k 图像组成的数据集,每个图像都是黑白的,最初的尺寸为 200x200。我将 200x200 维度转换为按行主顺序排列的 40k 单一维度。
回溯说明:
Traceback (most recent call last):
File "C:/Project/ML_Clustering.py", line 54, in <module>
kmeans.fit(np_list)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 896, in fit
return_n_iter=True)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 283, in k_means
X = as_float_array(X, copy=copy_x)
File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\utils\validation.py", line 88, in as_float_array
return X.copy('F' if X.flags['F_CONTIGUOUS'] else 'C') if copy else X
MemoryError
最佳答案
基于Lloyd 算法
的KMeans
聚类方法的经典实现。它在每次迭代时消耗整组输入数据。您可以尝试使用小批量增量更新中心位置的 sklearn.cluster.MiniBatchKMeans 。对于大规模学习(例如 n_samples > 10k),MiniBatchKMeans
可能比默认批量实现快得多。
from sklearn.cluster import MiniBatchKMeans
with open('np_array.pickle', 'rb') as handle:
np_list = pickle.load(handle)
mbk = MiniBatchKMeans(init ='k-means++', n_clusters = 5,
batch_size = 200,
max_no_improvement = 10, verbose = 0)
mbk.fit(np_list)
阅读 here 中有关 MiniBatchKMeans
的更多信息.
关于python - 使用 sklearn.cluster Kmeans 时出现内存错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57041610/