hadoop - 从Java主类访问MR作业输出

标签 hadoop jobs microsoft-distributed-file-system

我的MapReduce程序具有三个链接的MR作业。我想从主类访问MR1输出。在hadoop环境中可以吗?

如果没有,那么请提出是否还有其他方法可以做类似的事情。

最佳答案

一种方法是将作业1的输出提供给作业2的输入,将作业2的输出提供给作业3的输入。

这是一个示例:http://developer.yahoo.com/hadoop/tutorial/module4.html#chaining

该博客讨论了更多内容:

http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx

关于hadoop - 从Java主类访问MR作业输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17694904/

相关文章:

c - 何时使用 waitpid() 来查找后台进程的状态

hadoop - java.lang.UnsatisfiedLinkError : org. apache.hadoop.io.nativeio.NativeIO 启动DFS失败

hadoop - 如何在 Hadoop 中运行 wordCount 示例?

hadoop - Hadoop集群中的所有从站均应具有相同的配置

xml - 为什么 YARN 上会有 mapreduce.jobtracker.address 配置?

hadoop hdfs 从 cdh3 迁移到 cdh4

linux - 无法使用 ceph-deploy : Error EACCES: access denied 部署 Ceph 管理器守护进程

hadoop - 如何使用 Hadoop MapReduce 处理 3D 图像?

Python Spark/Yarn 内存使用

azure-devops - Azure Devops 计划的管道不会触发