python - 集群的计算

Question

<分区>

Answer 1

这个问题太笼统了。

事实上，大多数这些问题都没有答案。

例如，k-means 不是简单的线性 O(n)，但是因为收敛之前所需的迭代次数往往会随着数据集大小而增长，所以它比这更昂贵(如果运行直到收敛)。

层次聚类可以是从 O(n log n) 到 O(n^3) 的任何地方，主要取决于它的实现方式和链接。如果我没记错的话，sklearn 实现是 O(n^3) 算法。

一些算法有提前停止的参数。在他们真正完成之前!对于k-means，如果你想真正完成算法，你应该使用tol=0。否则，如果相对改进小于这个因素，它会提前停止——这可能太早了。 MiniBatchKMeans 从不收敛。因为它每次只查看数据的随机部分，所以除非您选择固定的迭代次数，否则它会永远持续下去。

永远不要试图从小数据集中得出结论。您需要达到您的极限。 IE。每种算法在 1、2、4 和 12 小时内仍然可以处理的最大数据集是多少？ 要获得有意义的结果，您的运行时间应该是小时，除非算法在此之前只是用完内存 - 那么您可能有兴趣预测在内存用完之前可以扩展多远 - 假设您有 1 TB 的 RAM，您仍然可以处理的数据有多大？

问题是，您不能简单地对不同大小的数据集使用相同的参数。如果您没有选择好参数(例如，DBSCAN 将所有内容都放入噪声中，或者将所有内容放入一个集群中)，那么您也无法从中得出结论。

然后，可能只是一个执行错误。 sklearn 中的 DBSCAN 最近变得快了很多。它仍然是相同的算法。所以 2 年前完成的大多数结果都是错误的，因为 sklearn 中 DBSCAN 的实现很糟糕......现在好多了，但它是最优的吗？可能不会。类似的问题可能存在于任何这些算法中!

因此，做一个好的聚类基准测试真的很困难。事实上，我已经很久没有看到好的基准了。