hadoop - 链接 Hadoop MapReduce 1.1.1 示例

标签 hadoop mapreduce

我是 Hadoop 的初学者,但在 Hadoop 1.1.1 中,我正在尝试执行 map -> reduce -> map -> reduce。我很难找到如何在 Java 中执行此操作的具体示例。我真的很好奇整个驱动程序方法会是什么样子。我目前正在使用 org.apache.hadoop.mapreduce 库(我认为这是最新的代码库)。

此外,如果没有必要,我宁愿不安装另一个库,如 Oozie。

最佳答案

我认为这可能对您有所帮助:http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx

您还可以查看 ChainMapper( http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html ),具体取决于您要实现的目标。不过,这仅适用于一个 reduce。如果你想专门去 map -> reduce -> map -> reduce,我会用我的第一个链接。

关于hadoop - 链接 Hadoop MapReduce 1.1.1 示例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14887317/

相关文章:

hadoop - Hadoop MapReduce

hadoop - Spark Streaming检查点到远程HDFS

hadoop - 如何在hadoop mapreduce -matrix乘法中格式化输出

java - 在本地机器上运行 mapreduce 时在 IDEA 和集群上的 hadoop 上运行不同的输出

hadoop - pig 的新手,我怎么知道我的 pig 脚本运行哪些底层mapreduce作业?如何调试Pig脚本的结果输出?

Hadoop HDFS 启动失败需要格式化

sql - 选择列中特定 ID 和列表名称价格高于同一列的行?

javascript - 在 JavaScript 中,有一种优雅的方法来合并两个对象并对任何公共(public)属性求和吗?

java - 了解 Hadoop 文件系统计数器

python - Amazon Elastic MapReduce - python map 和 reduce 代码的格式或示例