python - 在 Python 中使用 RDD 与 Spark SQL 计算标准偏差

Question

我是 spark 世界的新手(甚至是 Python，但更好)。我正在尝试计算标准偏差并使用了以下代码。第一次使用SparkSQL，代码如下:

 sqlsd=spark.sql("SELECT STDDEV(temperature) as stdtemp from 
 washing").first().stdtemp
 print(sqlsd)

以上工作正常(我认为)，结果为 6.070

现在，当我尝试使用带有以下代码的 RDD 执行此操作时:-

 def sdTemperature(df,spark):
    n=float(df.count())
    m=meanTemperature(df,spark) 
    df=df.fillna({'_id':0,'_rev':0,'count':0,'flowrate':0,'fluidlevel':0,
   'frequency':0,'hardness':0,'speed':0,'temperature':0,'ts':0,'voltage':0})
    rddT=df.rdd.map(lambda r: r.temperature)
    c=rddT.count()
    s=rddT.map(lambda x: pow(x-m,2)).sum()
    print(n,c,s)
    sd=sqrt(s/c)
    return sd

当我运行上面的代码时，我得到了不同的结果。我得到的值是 53.195

我做错了什么？我上面要做的就是计算 spark 数据框列温度的标准偏差并使用 lambda。

在此先感谢您的帮助..

Answer 1

感谢 Zero323 给了我线索。我跳过了空值。修改后的代码如下:-

 df2=df.na.drop(subset=["temperature"])
 rddT=df2.rdd.map(lambda r: r.temperature)
 c=rddT.count()
 s=rddT.map(lambda x: pow(x-m,2)).sum()
 sd=math.sqrt(s/c)
 return(sd)