鉴于以下数据帧:
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").appName("test").getOrCreate()
df = spark.createDataFrame([['a',1],['b', 2],['a', 3]], ['category', 'value'])
df.show()
+--------+-----+
|category|value|
+--------+-----+
| a| 1|
| b| 2|
| a| 3|
+--------+-----+
我想计算每个类别中的项目数量并为每个计数提供一个百分比,就像这样
+--------+-----+----------+
|category|count|percentage|
+--------+-----+----------+
| b| 1| 0.333|
| a| 2| 0.667|
+--------+-----+----------+
最佳答案
您可以通过以下方式获得总数的计数和百分比/比率
import pyspark.sql.functions as f
from pyspark.sql.window import Window
df.groupBy('category').count()\
.withColumn('percentage', f.round(f.col('count') / f.sum('count')\
.over(Window.partitionBy()),3)).show()
+--------+-----+----------+
|category|count|percentage|
+--------+-----+----------+
| b| 1| 0.333|
| a| 2| 0.667|
+--------+-----+----------+
前面的语句可以分为几个步骤。
df.groupBy('category').count()
产生 count
:+--------+-----+
|category|count|
+--------+-----+
| b| 1|
| a| 2|
+--------+-----+
然后通过应用窗口函数,我们可以获得每行的总数:
df.groupBy('category').count().withColumn('total', f.sum('count').over(Window.partitionBy())).show()
+--------+-----+-----+
|category|count|total|
+--------+-----+-----+
| b| 1| 3|
| a| 2| 3|
+--------+-----+-----+
哪里
total
column 是通过将分区(包括所有行的单个分区)中的所有计数加在一起来计算的。一旦我们有了
count
和 total
对于每一行,我们可以计算比率:df.groupBy('category')\
.count()\
.withColumn('total', f.sum('count').over(Window.partitionBy()))\
.withColumn('percentage',f.col('count')/f.col('total'))\
.show()
+--------+-----+-----+------------------+
|category|count|total| percentage|
+--------+-----+-----+------------------+
| b| 1| 3|0.3333333333333333|
| a| 2| 3|0.6666666666666666|
+--------+-----+-----+------------------+
关于pyspark - 如何在pyspark中的groupBy之后获得每个计数的总数百分比?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52264844/