memory - 执行 scikit-learns 剪影分数时如何修复 MemoryError?

标签 memory machine-learning cluster-analysis scikit-learn

我运行一个聚类算法,并希望通过使用 scikit-learn 中的轮廓分数来评估结果。但是在scikit-learn中,需要计算距离矩阵:distances = pairwise_distances(X, metric=metric, **kwds)

由于我的数据是300K量级,而我的内存是2GB,结果内存不足。而且我无法评估聚类结果。

有人知道如何解决这个问题吗?

最佳答案

设置sample_size silhouette_score 调用中的参数为小于 300K 的某个值。使用此参数将从 X 中采样数据点,并在这些数据点而不是整个数组上计算 silhouette_score

关于memory - 执行 scikit-learns 剪影分数时如何修复 MemoryError?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16424724/

相关文章:

c++ - 保留超出范围的类的数据?

machine-learning - 增量(在线)反向传播停止标准

python - 使用 Iris 数据集在 Python 上进行模糊聚类

java - 计算 Lucene 文档之间的相似度和质心

python - Sklearn AffinityPropagation 内存错误

javascript - Firefox 3 中的某种 JavaScript 任务管理器?

c - realloc() 触发异常

c - gdb 检查和打印给出不同的值

python-2.7 - 如何在 Python Scikit-learn 中存储与预向量化 X 匹配的预测类?

python - 在 Keras 中对具有不同分辨率的图像进行训练和验证