scala - 如何使用scala从数据框中获取字符串列的最大长度?

标签 scala apache-spark apache-spark-sql max

这可能是一个非常简单的问题。我正在使用带有 Scala 的 Spark 1.6

var DF=hivecontext.sql("select name from myTable")
val name_max_len =DF.agg(max(length($"name"))) // did not work

println(name_max_len)

我怎样才能获得最大长度?

最佳答案

您应该收集结果:

import org.apache.spark.sql.functions.max

val df = Seq("foo", "bar", "foobar").toDF("name")
df.agg(max(length($"name"))).as[Int].first
// res0: Int = 6

关于scala - 如何使用scala从数据框中获取字符串列的最大长度?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41270204/

相关文章:

scala - Binding.scala - 如何从 Vars 获取更新计数

scala - 如何从 UDF 创建自定义 Transformer?

scala - 如何在 Play 框架中处理可选查询参数

java - YARN 容器内存未反射(reflect)在 java Xmx 设置中

apache-spark - 对 Spark SQL 查询返回的行的非序访问

apache-spark - 网.snowflake.client.jdbc.SnowflakeSQLException : SQL compilation error: Operation is not supported in reader account

scala - 线程 “main”中的Apache Spark异常java.lang.NoClassDefFoundError : scala/collection/GenTraversableOnce$class

python - 如何在 Pyspark 中找到数组列的多模式

从资源目录读取文件的Scala问题

scala - 如何将无类型的 java.util.List 转换为 Scala 2.8 缓冲区