python - 具有一些空值的数组上的 Spark Stats

Question

我有以下代码:

            myData3 = myData.map(lambda line: line.split(',')).map(lambda fields: ("Column", float(fields[0]))).map(lambda (column, value) : (value)).persist(StorageLevel.MEMORY_AND_DISK)

我将 if 语句放在那里是因为现在我有一些包含整列的数据集。 float(fields[0]) 映射在遇到任何 null 时会导致错误。如何编写 spark 代码以允许我获取示例数组:[1,2,3,4,,5,,19] 并处理它？

Answer 1

只需在您的 map 之前运行一个过滤器:

.map(...split...)
.filter(lambda fields: fields[0] != null)
.map(...process...)

您可以使用 accumulator如果您确实需要，还可以跟踪过滤掉的数据。

使用累加器它看起来更像(python 不是我常用的语言，所以它可能会有点偏离:

accum = sc.accumulator(0)

def filterWithAccum(fields):
  accum.add(1)
  return fields[0] != null

.map(...split...)
.filter(filterWithAccum)
.map(...process...)