我是 Hadoop 的新手,我想限制我的应用程序中减少作业的数量。
在集群中,reduce 作业的最大数量是 120。但是,我不想使用所有这些,因为我的应用程序不需要那么多的 reduce 作业。
我尝试了下面的解决方案,但没有任何改变。我的应用程序仍然使用 120 个 reduce 作业。
如何设置reduce作业的数量?
感谢您的回复。
最佳答案
来自工作类,
job.setNumReduceTasks(100);
从shell命令
hadoop jar yourJar.jar -D mapred.reduce.tasks=1 <input> <output>
关于java - 如何在hadoop中的mapreduce java代码中限制reduce作业的数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33538161/