scala - 我该如何解决 "need struct type but got struct"

标签 scala apache-spark pyspark pyspark-dataframes

enter image description here

正如您在我的图片上看到的,我有一个名为 probability 的列,我想从 probability 列创建一个新列。我想从作为数组的概率列中提取值。但是在尝试这样做时,我收到一个错误:

"Can't extract value from probability#52427: need struct type but got struct<type:tinyint,size:int,indices:array<int>,values:array<double>>"

这是我的提取码:

preds_test = preds.withColumn("newCol", col("probability").getItem(3))

有人可以告诉我我做错了什么吗?

最佳答案

我想通了。我使用了 lambda 函数。这是我的代码:

preds_subset = preds.select('CustomerID','prediction', probs_churn('probability')).orderBy(asc("probability"))```

关于scala - 我该如何解决 "need struct type but got struct",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60587399/

相关文章:

python - 如何在spark中将rdd数据一分为二?

Scala Spark - 将元组的值映射到单个值

scala - HDFS : java. io.FileNotFoundException : File does not exist: name. _COPYING

performance - 哪些 Scala 特性性能较差

scala - Scala 2.8.1 和 SBT 可以与 JDK 7 一起使用吗?

scala - 如何比较两个对象并要求它们具有相同的类型?

scala - Spark 在大型洗牌作业上失败,出现 java.io.IOException : Filesystem closed

python - 作为 PySpark 的 reduceByKey 键的列表

python - 在pyspark中加载大于内存的hdf5文件

apache-spark - 我有一个很大的 hql 查询,我正在使用 pyspark sql 调用它。但是我收到错误,例如 Bad connect ack with firstBadLink error