我想对单个列执行操作。
不幸的是，在我转换该列之后，它现在不再是它来自的数据帧的一部分，而是一个 Column 对象。因此，它无法收集。
下面是一个例子:
df = sqlContext.createDataFrame([Row(array=[1,2,3])])
df['array'].collect()
这会产生以下错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: 'Column' object is not callable
我如何使用
collect()在单列上运行？
最佳答案
Spark >= 2.0
从 Spark 2.0.0 开始，您需要明确指定 .rdd为了使用flatMap
df.select("array").rdd.flatMap(lambda x: x).collect()
Spark < 2.0
刚刚
select和 flatMap :df.select("array").flatMap(lambda x: x).collect()
## [[1, 2, 3]]
关于apache-spark - 如何在 Spark 中收集单个列？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35495197/