sql - 如何在 Hive 中过滤掉具有 NaN 值的行？

Question

我在 Hue 中运行一个 hive 表的求和函数，并得到 NaN 的返回值。

这是我的代码:

从 hivedb.tb1 中选择 sum(v1);

我不知道为什么它会给我一个 NaN 结果。我检查了我的任何 v1 值是否为空:

select * from hivedb.tb1 where v1 is null;

，结果没有记录有空值。该表有 1 亿行，所以我无法对每条记录进行手动检查。

1. 有人知道我为什么会得到 NaN 结果吗？
2. 如果是因为我在某些行中有一些异常值，我该如何找到它们？

感谢任何帮助。提前致谢!

更新 1 我手动筛选了前1000行，幸运地在tb1中发现了一些异常的NaN值。这是由于前面步骤的一些舍入误差造成的。所以我的问题 1 可能得到了回答。如果您认为可能还有其他原因，请随时对此发表评论。

我仍然不知道如何使用有效的方法来发现具有 NaN 值的行。所以我仍然期待我的问题 #2 的任何答案。请随时分享。感谢您的帮助。

更新 2 在下面的讨论部分中，在接受的答案中帮助解决了该问题。有多种处理方法。

1. 使用条件选择 v1+1 >v1。它将选择具有非 NaN 值的行。
2. 使用 cast(v1 as String) ='NaN' 的条件选择。它将选择具有 NaN 值的行。

Answer 1

Hive 依赖于 Java (加上针对 Null 和 friends 的特定于 SQL 的语义)，并且 Java 遵守 IEEE 数字语义标准。这意味着……NaN 很棘手。

引用 that post ...

(Float.NaN == Float.NaN) always returns false.
In fact, if you look at the JDK implementation of Float.isNaN(), a number is not-a-number if it is not equal to itself (which makes sense because a number should be equal to itself).
The same holds for Double.NaN

因此，没有必要向您展示如何使用名为 reflect2 的(未记录的)Hive 函数，它允许您在 Hive 列上调用原始 Java 方法，即

where v1 is not null and not reflect2(v1, "isNaN")

...因为——理论上——你可以简单地声明:

where v1 is not null and v1=v1

免责声明 -- 我见过 Hive 优化器进行积极“优化”并产生错误结果的情况。
换句话说，如果简单的 v1=v1子句没有按预期过滤掉 NaN 值，然后查看 reflect2 ...

编辑——实际上，优化器似乎忽略了某些版本的 Hive 中的 v1=v1 子句(参见评论)，因此更加狡猾公式是必要的:

• v1 +1.0 > v1 应该可以工作...除非舍入错误导致 abs(v1) << 1 或 abs(v1) >> 1
• 其他“数字”技巧在极端情况下也会同样失败，尤其是当 v1 =0.0

最后，最稳健的方法似乎是尝试 cast(v1 as String) <>'NaN'(因为所有可能的 NaN 值都显示为“NaN”，即使它们在算术意义上并不严格“相等” )。

---

关于 reflect2 的旁注——你可以看到它确实没有在 the official Hive doc 中提到，而 reflect 被提到(甚至有一个 specific Wiki entry )。但是早在Hive V0.11 cf就已经实现了。 Hive-4025

编辑 -- ODBC/JDBC/Hue 连接的 Java“反射”现在默认禁用(见评论) ，使用ranger、Sentry等安全插件时无法重新启用。因此它的使用仅限于(已弃用的)hive CLI。