我有一个来自 scipy 的大型稀疏矩阵(300k x 100k，所有二进制值，大部分为零)。我想将这个矩阵的行设置为一个 RDD，然后对这些行进行一些计算——在每一行上计算一个函数，在成对的行上计算函数，等等。
关键是它非常稀疏，我不想分解集群 - 我可以将行转换为 SparseVectors 吗？或者可能将整个东西转换为 SparseMatrix？
您能否举例说明您读取稀疏数组，将行设置到 RDD 中，然后根据这些行的笛卡尔积进行计算？
最佳答案
我最近遇到了这个问题——我认为您可以通过使用 scipy csc_matrix 属性构造 SparseMatrix 来直接转换。 (借用杨布赖恩)
import numpy as np
import scipy.sparse as sps
from pyspark.mllib.linalg import Matrices
# create a sparse matrix
row = np.array([0, 2, 2, 0, 1, 2])
col = np.array([0, 0, 1, 2, 2, 2])
data = np.array([1, 2, 3, 4, 5, 6])
sv = sps.csc_matrix((data, (row, col)), shape=(3, 3))
# convert to pyspark SparseMatrix
sparse_matrix = Matrices.sparse(sv.shape[0],sv.shape[1],sv.indptr,sv.indices,sv.data)
关于python - 从 scipy 稀疏矩阵创建稀疏 RDD，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40645498/