python - Spark "sum"命令给出方法 sum([class java.util.ArrayList]) 不存在

Question

我是不是疯了？

from pyspark.sql.functions import *
sum([2,3,2])

给予:

py4j.Py4JException: Method sum([class java.util.ArrayList]) does not exist

我怎样才能得到一个简单的总和？

幕后到底发生了什么，让事情变得如此困难？

Answer 1

通过 from pyspark.sql.functions import *，您将使用 pyspark.sql.functions 模块中的 sum 函数覆盖 python 标准库中的 sum 函数。为了避免覆盖，您可以导入模块:

import psypark.sql.functions as f

并将两个求和函数称为 f.sum 和 sum。

或者为 pyspark 中的 sum 函数指定一个别名。

from pyspark.sql.functions import sum as fsum

这样您就不会在同一作用域中引入两个 sum 函数。