<分区>
我试图将几列的最小值放入单独的列中。 (创建 min 列)。该操作非常简单，但我找不到合适的函数:
A B 分
1 2 1
2 1 1
3 1 1
1 4 1
非常感谢您的帮助!
<分区>
我试图将几列的最小值放入单独的列中。 (创建 min 列)。该操作非常简单，但我找不到合适的函数:
A B 分
1 2 1
2 1 1
3 1 1
1 4 1
非常感谢您的帮助!
最佳答案
您可以使用 least函数，在 pyspark 中:
from pyspark.sql.functions import least
df.withColumn('min', least('A', 'B')).show()
#+---+---+---+
#| A| B|min|
#+---+---+---+
#| 1| 2| 1|
#| 2| 1| 1|
#| 3| 1| 1|
#| 1| 4| 1|
#+---+---+---+
如果您有列名列表:
cols = ['A', 'B']
df.withColumn('min', least(*cols))
在 Scala 中类似:
import org.apache.spark.sql.functions.least
df.withColumn("min", least($"A", $"B")).show
+---+---+---+
| A| B|min|
+---+---+---+
| 1| 2| 1|
| 2| 1| 1|
| 3| 1| 1|
| 1| 4| 1|
+---+---+---+
如果列存储在 Seq 中:
val cols = Seq("A", "B")
df.withColumn("min", least(cols.head, cols.tail: _*))
关于apache-spark - Spark数据框计算行最小值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51974475/