hadoop - 如何增加 hive 中的 reducer ？

Question

select
    emp.deptno, emp.ename, emp.empno, emp.job, emp.mgr,
    emp.mgr, emp.hiredate, emp.sal, emp.comm, dept.dname,
    dept.loc
from emp
join dept on from emp.deptno = dept.deptno;

IT是9GB的数据。它在reducer上带来了问题。它达到 reducer 的99％。
我已将 reducer 增加到150，但没有得到结果。

Answer 1

您可以使用:

    set mapred.reduce.tasks=113

您的问题可能与数据偏斜有关(这意味着某些键非常密集)。