hadoop - 如何将多个作业提交到 hadoop 集群

标签 hadoop mapreduce hadoop-yarn

我有一个运行 Hadoop 2.6 的 hadoop 集群。我想同时向它提交多个作业。我想知道我是否应该简单地提交多个作业并让集群处理其余的,或者我应该将它们写成一个 yarn 应用程序。事实上,我对 Yarn 应用程序开发不是很熟悉,并且确切地知道它与常规 Hadoop 应用程序有何不同。

最佳答案

您可以使用 MR1 和 YARN 运行 MR 作业。 YARN 与作业并行无关。 它只是运行各种作业的框架。

使用 oozie 工作流或 shell 脚本并行运行作业。

关于hadoop - 如何将多个作业提交到 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29681987/

相关文章:

memory-management - Spark ExecutorLostFailure 内存超出

java - Hadoop FileSystem 应该关闭吗?

file - 比较两个大文件以调和财务交易

hadoop - 为什么 Context.Write 没有按预期工作 - Hadoop Map reduce

hadoop - Hadoop 2 中 3 个内存参数之间的区别?

apache-spark - Spark 执行器登录 YARN

datetime - Hive 时间戳 ISO 到 UTC 的转换

hadoop - PigLatin问题

Hadoop 安装 : No such file while run hadoop format

hadoop - 如果在 Hadoop Map Reduce 中定义了自定义分区程序,默认哈希分区程序是否仍然有效?