python - 在内存中存储一​​个大的稀疏矩阵来计算特征值

Question

对于我的情况，它是 40000*40000 个元素，我只需要这个矩阵来计算特征值。

我的问题是如何将矩阵存储在内存中，以便我可以找到特征值。以下是有关矩阵的详细信息:

A=np.array([((Nx-2)(Nz-2))[1/4],((Nx-2)(Nz-2))[1/2],((Nx-2)(Nz-2))[2],((Nx-2)(Nz-2))[1/2],((Nx-2)(Nz-2))[1/4]])
diags=np.array([-Nx,-1,0,1,Nx])
M=spdiags(A, diags, (Nx-2)(Nz-2), (Nx-2)(Nz-2)).toarray()
alpha=np.linalg.eigvals(M)

错误

File "C:/Users/mr_lu/Downloads/2d.py", line 106, in <module>
  M=spdiags(A, diags, (Nx-2)*(Nz-2), (Nx-2)*(Nz-2)).toarray()
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\base.py", line 878, in toarray
  return self.tocoo(copy=False).toarray(order=order, out=out)
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\coo.py", line 310, in toarray
  B = self._process_toarray_args(order, out)
File "C:\Users\mr_lu\PycharmProjects\2d\venv\lib\site-packages\scipy\sparse\base.py", line 1184, in _process_toarray_args
  return np.zeros(self.shape, dtype=self.dtype, order=order)
ValueError: array is too big; `arr.size * arr.dtype.itemsize` is larger than the maximum possible size.

Answer 1

处理稀疏矩阵最重要的细节之一是永远不要使用密集矩阵中间体!看来是调用toarray()时出现了内存问题。这是因为您要将 scipy.sparse 矩阵转换为密集 numpy.array。不要使用 numpy 模块来计算稠密矩阵上的特征值，而是尝试使用 scipy.sparse.linalg 函数 eigs 来查找特征值你的稀疏矩阵。