我一直在使用 JobConf.setOutputCommitter() 方法为 map reduce 作业设置我自己的 OutputCommitter。对于 hadoop v 0.20，由于不推荐使用此类，设置自定义 OutputCommitter 的替代方法是什么？我尝试在 Configuration 中设置属性 mapred.output.committer.class，但这似乎是一个无效属性。无法找到替代方法来执行此操作。
最佳答案
我想这取决于您所说的新 API 的含义 - 在 1.1.1 中至少这是 no longer deprecated - 我想我记得读过整个 mapred 包被过早弃用，并且在以后的版本中没有被弃用。
如果通过新 API，您指的是 mapreduce 包之上的 mapreduce 包，那么 OutputFormats 本身有一个关联的 OutputCommitter，它是通过 OutputFormat.getOutputCommitter 获取的方法
关于hadoop - 我如何在新的 Hadoop API 中设置自定义输出提交者，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14290234/