python - 在 Python 中进行大型矩阵计算的最佳模块？

Question

我正在开发一个简单的推荐系统并尝试进行一些计算，如 SVD、RBM 等。

为了更有说服力，我将使用 Movielens 或 Netflix 数据集来评估系统的性能。但是这两个数据集都有超过100万的users和超过10000条item，不可能把所有的数据都放到内存中。我必须使用一些特定的模块来处理这么大的矩阵。

我知道 SciPy 中有一些工具可以处理这个问题，并且 divisi2被 python-recsys 使用似乎也是一个不错的选择。或者也许有一些我不知道的更好的工具？

我应该使用哪个模块？有什么建议吗？

Answer 1

我会建议 SciPy , 具体来说 Sparse .正如杜格尔指出的那样，Numpy不适合这种情况。