最近，我们已从Hadoop 2.0.0-cdh4.2.1升级到Hadoop 2.6.0-cdh5.4.2。
现在我们正在使用Hive 1.1.0-cdh5.4.2。
当我运行一个简单的配置单元查询时，它使用了太多的 reducer ，在以前的版本中它使用了120个 reducer ，而在新版本中，它使用了1100个 reducer 。
谁能告诉我为什么会这样吗？
提前致谢。
最佳答案
reducer 的数量由配置单元决定，它取决于您分配的字节数或使用的查询类型(计数的使用方式，只需选择*)。请在这里查看更多信息。 here
关于hadoop - Hive查询运行的Reducer过多，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30709807/