java - HADOOP - 编写 YARN 应用程序

标签 java hadoop hadoop-yarn

我正在阅读 this我有点困惑。我是否必须始终编写 Client 和 ApplicationMaster 类才能在 YARN 中运行我自己的代码?例如,如果我想运行一个只生成随机数的应用程序,我是否必须将这些类包含到我的代码中,或者它可以在没有这些的情况下运行它?或者,它们是否都是不同的示例,因为我可以在其中看到 2 个主要类(每个类中有 1 个主要类)?我尝试了所有这些方法,但我仍然遇到错误 --> usage [input][ouput]:

最佳答案

编写原生 YARN 应用程序可能有点笨拙,因为 Hadoop YARN 项目没有更高级别的框架来帮助解决这个问题。然而,很少有项目承担繁重的工作,因此用户无需担心此样板代码。

  • Spring YARN作为 Spring for Apache Hadoop 的一部分 YARN Samples

  • Apache Twill

  • Slider

    在您发布的链接中,是的,有两个主要类,一个用于运行在 YARN 上部署和启动应用程序的客户端,另一个用于 appmaster。

关于java - HADOOP - 编写 YARN 应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24751599/

相关文章:

hadoop - 我们如何为异构集群分配不同数量的reducer?

java - Android 中的 Tabs+Swipe 适用于所有 API 级别

java - 在 Java 8 中是否有一种简洁的方法来迭代带有索引的流?

bash - 循环遍历 HDFS 目录中的文件

hadoop - 需要改变我的技术

java - Job提交前如何分发jar到hadoop

java - 获取数据到回调方法

java - GWT:如何从 Activity 启动方法中转到新位置?

hadoop - Oozie 和 Job History Server 配置问题

Hadoop 作业一直在运行,没有分配容器