我是 Hadoop 的初学者,但在 Hadoop 1.1.1 中,我正在尝试执行 map -> reduce -> map -> reduce。我很难找到如何在 Java 中执行此操作的具体示例。我真的很好奇整个驱动程序方法会是什么样子。我目前正在使用 org.apache.hadoop.mapreduce
库(我认为这是最新的代码库)。
此外,如果没有必要,我宁愿不安装另一个库,如 Oozie。
最佳答案
我认为这可能对您有所帮助:http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx
您还可以查看 ChainMapper( http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html ),具体取决于您要实现的目标。不过,这仅适用于一个 reduce。如果你想专门去 map -> reduce -> map -> reduce,我会用我的第一个链接。
关于hadoop - 链接 Hadoop MapReduce 1.1.1 示例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14887317/