java - 如何在hadoop中的mapreduce java代码中限制reduce作业的数量

标签 java hadoop mapreduce reduce

我是 Hadoop 的新手,我想限制我的应用程序中减少作业的数量。

在集群中,reduce 作业的最大数量是 120。但是,我不想使用所有这些,因为我的应用程序不需要那么多的 reduce 作业。

我尝试了下面的解决方案,但没有任何改变。我的应用程序仍然使用 120 个 reduce 作业。

如何设置reduce作业的数量?

https://stackoverflow.com/questions/33237361/unable-to-set-mapreduce-job-reduces-through-generic-option-parser

感谢您的回复。

最佳答案

来自工作类,

job.setNumReduceTasks(100);

从shell命令

hadoop jar yourJar.jar -D mapred.reduce.tasks=1 <input> <output>

关于java - 如何在hadoop中的mapreduce java代码中限制reduce作业的数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33538161/

相关文章:

java - Jackson:如何防止字段序列化

hadoop - 将 json 文件加载到 PIG

python - 如何进行 3 阶段 Map Reduce 流式处理?

java - 如何确定 reducer 的值(value)?

hadoop - Docker SSH 连接到运行中的本地主机权限被拒绝(公钥、密码、键盘交互)

hadoop - 如何在MapReduce作业中输出数据以供Sqoop导出?

java - 删除行尾的ASCII码,不删除中间的ASCII码

java - 尝试从 pdf 中提取字形 ID 时缺少一些字形 ID

java - 使用正则表达式显示目录列表

java - 使用 JDBC 从 Hive 表中选择数组字段