python - 快速计算整个数据集到每个聚类中心的距离

标签 python performance numpy cluster-analysis k-means

在数据聚类问题中,我有两个 numpy 数组,X 和 C,其中 X 对应于观测值,C 对应于可以用 X 中的数据形成的簇的中心。它们都具有相同数量的列(特征),但 C 通常比 X 具有更少的行数。我试图找到一种快速方法来计算 X 中每个观察值与 C 中所有中心之间的最小平方距离。在简单的 python 中,这可以写为

D2 = np.array([min([np.inner(c-x,c-x) for c in C]) for x in X])

这相当慢,所以我设法通过 doin 来提高速度

D2 = np.array([min(np.sum((C-x)**2, axis=1)) for x in X])

相反,但我对执行时间还不满意,而且由于 for 循环仍然存在,我相信还有希望。有谁知道如何进一步减少执行时间?

出于好奇,我使用它通过 K-Means++ 算法生成 K-Means 的种子。

最佳答案

使用 numpy/scipy 堆栈获得的最快速度是专门用于此目的的专用函数 scipy.spatial.distance.cdist .

scipy.spatial.distance.cdist(XA, XB, metric='euclidean', p=2, ...)

Computes distance between each pair of the two collections of inputs.

还值得注意的是,scipy 还提供了 kmeans 聚类。

scipy.cluster.vq.kmeans

关于python - 快速计算整个数据集到每个聚类中心的距离,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23370379/

相关文章:

mysql - 数据库设计问题 - 性能需求

python-3.x - Python 3.4 pip install wheel 在 Yosemite 上失败 - "not a supported wheel on this platform"

python word2vec 没有安装

java - 桌面应用程序开发中的 Python

python - 使用 cl.fit() 在 python 中进行 SVM() 分类器训练

java - 什么更好 : cast to double or adding double zero?

c++ - 从 0 数到 99

python - python 中的 Zip 不适用于列表

python - numpy数组中的like语句时如何编写案例

python - 当询问 Timestamp 列值是否具有 attr astype 时,Pandas 给出了错误的结果