eclipse - 使用运行对话框 (F11) 在 Eclipse 中的远程集群上启动 Hadoop Map Reduce 作业

Question

是否可以使用 Eclipse Run Dialog (F11) 在远程集群上启动 Map Reduce 作业？

目前我必须使用外部工具链对话框和 Maven 来运行它。

注意:要在本地集群上执行它与Run Dialog 没什么大不了的。但是对于远程连接，必须有一个已编译的 JAR。否则你会得到一个 ClassNotFoundException(如果设置了 Jar-By-Class)

我们当前的设置是:

• Spring-Data-Hadoop 1.0.0
• STS - Springsource 工具套件
• 专家
• CDH4

这是我们在 applicationContext.xml 上设置的(这是您在 vanilla hadoop 上的 *-site.xml 中指定的内容)

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有办法告诉 Eclipse 它应该在执行 Run Dialog 时构建一个 JAR。

Answer 1

我不知道它是否构建了一个新的 jar(可能是你必须将一个 jar 解压到一个文件夹)，添加“Run Configurations->Classpath”你的 jar 清除了“ClassNotFoundException”问题。