我有以下示例数据框:
i/p
accountNumber assetValue
A100 1000
A100 500
B100 600
B100 200
o/p
AccountNumber assetValue Rank
A100 1000 1
A100 500 2
B100 600 1
B100 200 2
现在我的问题是我们如何在数据帧上添加此等级列，该列按帐号排序。如果我需要在数据框之外进行操作，我并不期望会有如此大的行数。
我正在使用Spark版本1.5和SQLContext，因此无法使用Windows函数
最佳答案
您可以使用row_number函数和Window表达式，通过它们可以指定partition和order列:
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.row_number
val df = Seq(("A100", 1000), ("A100", 500), ("B100", 600), ("B100", 200)).toDF("accountNumber", "assetValue")
df.withColumn("rank", row_number().over(Window.partitionBy($"accountNumber").orderBy($"assetValue".desc))).show
+-------------+----------+----+
|accountNumber|assetValue|rank|
+-------------+----------+----+
| A100| 1000| 1|
| A100| 500| 2|
| B100| 600| 1|
| B100| 200| 2|
+-------------+----------+----+
关于scala - 我们如何对数据框进行排名？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42966590/