java - 从 Eclipse 在 AWS-EMR 上运行 MapReduce 作业

标签 java jar mapreduce elastic-map-reduce amazon-emr

我在 Eclipse 中有 WordCount MapReduce 示例。 我将其导出到 Jar,然后将其复制到 S3。然后我在 AWS-EMR 上运行它。成功了。

然后,我读了这篇文章 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-common-programming-sample.html 它展示了如何使用 AWS-EMR Api 运行 MapReduce 作业。它仍然假设您的 MapReduce 代码打包在 Jar 中。

我想知道是否有一种方法可以直接在 AWS-EMR 上运行 Eclipse 中的 MapReduce 代码,而无需将其导出到 Jar。

最佳答案

我还没有找到一种方法来做到这一点(对于用 Java 编写的 mapreduce 作业)。我相信没有 Eclipse 实用程序或插件可以做到这一点。 您可以编写某种脚本并将其合并到您的构建过程中,以将 Jar 推送到您的 EMR 集群。但是没有一个实用程序/工具可以编译、捆绑、部署和执行您的 MapReduce 作业到 EMR。

关于java - 从 Eclipse 在 AWS-EMR 上运行 MapReduce 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24159980/

相关文章:

java - JFrame没有关闭窗口?

java - 为什么 Java Web Start 说已签名的 jar 文件未签名?

java - 如何使用源代码(.java 文件)创建 java jar 文件?

hadoop - Hadoop如何将程序和数据放在一起?

java - 将 avro 集成到 sbt 工作流程中

java - 使用mockito在junit中编写单元测试时测试类中不必要的 stub

java - 检测两个字符串是否有一个字符不同的最佳方法是什么?

java - 为什么javaFX应用程序jar可以在jdk上运行但不能在jre上运行?

hadoop - 级联函数在单个线程中作为hadoop映射器函数执行吗?

java - 根据reducer的值升序排序