我有以下 SQL 查询:
SELECT SECTOR, COUNT(REGION) FROM SAMPLE_TABLE GROUP BY SECTOR HAVING COUNT(REGION) > 1
我想使用 Spark SQL 的 DataFrame API 将其转换为 Spark。我该怎么做？
最佳答案
也许这可行:
val df = sqlContext.table("SAMPLE_TABLE")
val newDF = df
.groupBy("sector")
.agg(count("region").as("cnt"))
.where($"cnt" > 1)
有关更多信息，您可以查看 DataFrame API docs和 functions package documentation
关于apache-spark-sql - 如何使用 scala API 在 spark sql 中写入大于 1 的特定列的计数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37136030/