hadoop - 失败 : Error in semantic analysis: Column Found in more than One Tables/Subqueries

Question

CREATE EXTERNAL TABLE old_events
(day STRING, foo STRING, count STRING, internal_id STRING)
PARTITIONED BY (ds string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION '${INPUT}';

CREATE EXTERNAL TABLE events
(internal_id, foo STRING, count STRING)
PARTITIONED BY (ds string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION '${OUTPUT}';

INSERT OVERWRITE TABLE events
SELECT e2.internal_id, e2.foo, count(e1.foo)
FROM old_events e2
LEFT OUTER JOIN old_events e1
ON e1.foo = e2.foo
WHERE e1.event = 'event1'
AND e2.event = 'event2'
AND ds = date_sub('${DAY}',1)
GROUP BY e2.internal_id, e2.foo;

失败:语义分析错误:在多个表/子查询中找到列 ds

添加获取当前日期的 ds 变量时出现此错误。 我如何使用上述脚本实现日期分区。

Answer 1

您需要在 WHERE 子句中为 ds 添加别名。例如，ds = date_sub('${DAY}',1) 到 e2.ds = date_sub('${DAY}',1)。

为了澄清您的问题，这里有一个更小的示例，它显示了相同的行为

CREATE EXTERNAL TABLE example
(a INT, b INT)
LOCATION '${OUTPUT}';

SELECT *
FROM example e1
JOIN example e2
  ON e1.a = e2.a
WHERE b = 5;

这会产生同样的错误:

FAILED: SemanticException Column b Found in more than One Tables/Subqueries

问题是 b 列存在于别名为 e1 和 e2 的 example 中。你和我可能都知道，如果你在 a 列上加入 example 本身，那么 e1.b 与 e2.b 相同 所以它不需要别名，但是 Hive 不知道这个所以你需要选择一个来消除任何歧义。 b 是否为分区列在这里并不重要。