sql - 如何用 Hive 做 Max in count(*)？

Question

我有两个表:

飞行:年份，产地

机场:代码，名称

这是一个数据样本:

飞:

1989,SF    
1989,SF   
1989,NY  
1993,NY  
1998,Par     
1998,Par  
1998,NY

机场:

SF, International Airport    
NY, Inter Air    
Par, Charles de Gaulle

我想获得每年使用最多的机场。

所以首先我做了这个请求来获取每个机场每年出现的次数:

SELECT v.Year,a.airport ,count(*)
From airports a JOIN Vol v ON (a.iata = v.Dest)
Group By v.Year,a.airport
ORDER BY Year ASC,airport ASC;

所以我得到了这样的结果:

1989, San Francisco, 2  
1989, New York, 1
1993, New York, 1
1998, new York, 1
1998, Paris, 2

我想要这样的每年最大值:

1989, San Francisco, 2
1993, New York, 1
1998, Paris, 2

我可以通过一个请求完成吗？ 我应该使用中间表吗？

Pig 更好吗？

提前致谢

Answer 1

这在 Hive 中有点棘手，但肯定可行。它需要两件事:将您的第一个查询用作更大查询的子查询，以及执行“arg-max”的小技巧。

SELECT Year, max(named_struct('n', n, 'airport', airport)) FROM (
  SELECT v.Year, a.airport, count(*) as n
  FROM airports a JOIN Vol v ON (a.iata = v.Dest)
  GROUP BY v.Year, a.airport
) t
GROUP BY Year;

请注意，named_struct 创建了一个结构字段，并且这些字段首先按照其第一个字段的顺序进行比较，因此您可以获得正确的“最大”行为，同时仍然保留机场名称。不过，这确实意味着您的输出将采用结构形式:

1989, {n:2, airport:San Francisco}
1993, {n:1, airport:New York}
1998, {n:2, airport:Paris}

如果你想“取消结构化”它，你只需要单独选择那些字段:

SELECT Year, max(named_struct('n', n, 'airport', airport)).n, max(named_struct('n', n, 'airport', airport)).airport FROM (
  SELECT v.Year, a.airport, count(*) as n
  FROM airports a JOIN Vol v ON (a.iata = v.Dest)
  GROUP BY v.Year, a.airport
) t
GROUP BY Year;