hadoop - 无法在 eclipse 中运行 TestDistributedShell

标签 hadoop hadoop-yarn

我可以在 maven 中成功运行 TestDistributedShell,但在 eclipse 中失败。我需要做任何额外的设置吗?

这是我在 eclipse 中得到的错误信息:

2014-01-22 14:19:49,198 WARN  [AsyncDispatcher event handler] resourcemanager.RMAuditLogger (RMAuditLogger.java:logFailure(255)) - USER=zhangj82    OPERATION=Application Finished - Failed TARGET=RMAppManager RESULT=FAILURE  DESCRIPTION=App failed with state: FAILED   PERMISSIONS=Application application_1390371576457_0001 failed 2 times due to AM Container for appattempt_1390371576457_0001_000002 exited with  exitCode: 127 due to: Exception from container-launch: 
org.apache.hadoop.util.Shell$ExitCodeException: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
    at org.apache.hadoop.util.Shell.run(Shell.java:379)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:1)
    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
    at java.lang.Thread.run(Thread.java:680)

最佳答案

我在我的 mac 上尝试安装 hadoop 时遇到了同样的异常,我通过在 yarn-env.sh 和 hadoop-env.sh 文件中显式定义 java home 解决了这个问题

因此转到 etc/hadoop 并使用显式 java 主目录编辑 hadoop-env.sh 和 yarn-env.sh 文件。

导出 JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk...

祝你好运!

关于hadoop - 无法在 eclipse 中运行 TestDistributedShell,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21275735/

相关文章:

mongodb - 是否可以将数据库直接从 HDFS 作为 DataFrame 加载到 spark 中?

hadoop - 如果 namenode 和 ZooKeeper 一起失败会发生什么

hadoop - 重新平衡hadoop中的单个数据节点

apache-spark - 在Dataproc中将spark.master更改为yarn

hadoop - 在失败或中止时重新运行 Spark 作业

java - Hadoop 1.2.1 - 多节点集群 - Wordcount 程序的 Reducer 阶段挂起?

hadoop - Sqoop导入失败,同时将AVRO数据从SQL Server导入HDFS

apache-spark - Spark并发作业失败

hadoop-yarn - 从 YARN 上的另一个程序启动的 Flink 作业失败,错误为 "JobClientActor seems to have died"

java - samza 容器失败