我有下面的查询,它应该找到列值的平均值并返回单个数字的结果。
val avgVal = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'").first().getDouble(0)
我在这个声明中遇到了不一致的行为。这通常会失败并出现以下错误,但是当通过 Hive 执行时它会给出非 NULL 结果。”
18/05/10 11:01:12 ERROR ApplicationMaster: User class threw exception: java.lang.NullPointerException: Value at index 0 in null
java.lang.NullPointerException: Value at index 0 in null
at org.apache.spark.sql.Row$class.getAnyValAs(Row.scala:475)
at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)
at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)
我使用 HiveContext 而不是 SQLContext 的原因是后者不支持我在代码中广泛使用的一些聚合函数。
您能帮我理解为什么会出现这个问题以及如何解决吗?
最佳答案
您需要将查询分为两部分:
var result = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'");
var first = result.first();
if (first != null && !first.isNullAt(0)) {
var avgVal = first.getDouble(0);
}
这将避免 NPE。这在列表和数组中也需要。
对于插入或更新查询,您甚至需要用 try...catch
block 包围来捕获运行时异常。
关于java - Spark SQL sql ("<some aggregate query>").first().getDouble(0) 给我不一致的结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50269797/