python - 如何近似大型稀疏 scipy 矩阵中的相关矩阵？

Question

出于这个目的，我使用了那个线程 link 中的解决方案到现在为止，但是它给出了预期的内存错误，因为我的矩阵 A 大小是 600 万到 40000 矩阵。因此，我正在寻找任何其他解决方案来近似相关矩阵。我怎样才能解决这个问题？任何帮助表示赞赏。

Answer 1

您的问题是您无法将结果保存在内存中(6e6^2 值？)。

您可以从原始矩阵中删除行。例如，如果您正在搜索高度相关的行，您可能希望对这些行进行聚类，以解决问题。

您还可以使用 scipy.sparse.linalg.svds 来减少列数。但是您仍然需要处理 rows^2 相关性。