scala - 将拆分与数据框一起使用时出现未找到错误

标签 scala apache-spark

我正在使用 sparkscala。我的以下代码在 spark-shell 上运行良好,但是当我尝试将其移至 Intelij 时,它会抛出错误,指出无法找到 split

我缺少什么,我需要导入什么才能使 split 工作

var outputDF = inputDF.withColumn(srcColumn, 
split(inputDF.col(srcColumn),splitBy).getItem(selectIndex))

最佳答案

你可能错过了这个导入:

import org.apache.spark.sql.functions._

(在 Spark shell 中自动提供)

关于scala - 将拆分与数据框一起使用时出现未找到错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45446804/

相关文章:

apache-spark - Spark SQL 中更新查询

apache-spark - 具有窗口功能的PySpark数据偏度

java - 在长 Scala 列表或 Stream 上进行 reduce() 操作期间,Java JVM 关于 GC 的智能程度如何?

Trait 中的 Scala 对象

apache-spark - 如何在 pyspark 中使用外部(自定义)包?

scala - 将多个变量从 scala/spark-shell 提供给 hive 表

Scala 聚合函数与 Spark RDD 聚合函数

java - 将scala添加到intellij中现有的java模块中

scala - 函数式编程 : Curry & Fold - what are the etymologies?

java - 如何构建使用 java 注释代码生成的混合 java/scala 项目?