java - 运行 Hadoop Map-Reduce 作业

标签 java maven hadoop mapreduce

我是 Hadoop 的新手,我正在尝试在最近安装在桌面上的单节点集群上运行字数统计作业。我正在按照以下教程进行操作:

http://javabeginnerstutorial.com/hadoop/your-first-hadoop-map-reduce-job/

目前我卡在第 3 步,尝试运行时收到错误消息:

~/development/Hadoop_projects/word_count$ mvn clean install

我得到的错误是:

错误:JAVA_HOME 未正确定义。 我们无法执行usr/lib/jvm/java-7-openjdk-amd64/bin/java

我想我正确安装了 maven,但不知道。我在 ubuntu 14.04 上运行它,关于如何处理 java 主路径的任何想法,或者这里是否还有其他问题?

#

上述错误已通过修复 JAVA_HOME 路径得到修复,但现在我在运行 mvn clean install 后收到以下错误:

hduser@venus:~/development/Hadoop_projects/word_count$ mvn clean install
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.088s
[INFO] Finished at: Tue Jul 14 23:07:21 PDT 2015
[INFO] Final Memory: 5M/240M
[INFO] ------------------------------------------------------------------------
[ERROR] The goal you specified requires a project to execute but there is no POM in this directory (/home/hduser/development/Hadoop_projects/word_count). Please verify you invoked Maven from the correct directory. -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MissingProjectException

我在我的 word_count 文件夹中创建了 pom.xml 文件,但由于某种原因,当我运行 mvn 时它没有被识别。当我 ls word_count 时,目录中没有 pom.xml,但我可以在文件 gui 窗口中看到它。

最佳答案

有一个很棒的Ask Ubuntu article其中详细说明了如何设置 JAVA_HOME 环境变量。我在这里应用我在那里找到的解决方案,并针对您的特定设置进行了调整。

在任何编辑器中打开 /etc/environment 并将以下行添加到文件中:

JAVA_HOME="usr/lib/jvm/java-7-openjdk-amd64/"

请注意,我没有bin/java 附加到路径,这是错误的。从命令提示符键入以下内容以加载新的环境变量:

source /etc/environment

最后,通过在命令提示符中键入以下命令来验证是否正确设置了 JAVA_HOME:

echo $JAVA_HOME

关于java - 运行 Hadoop Map-Reduce 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31422171/

相关文章:

java - 有人能告诉我为什么我的 actionListener for 循环不起作用吗?

maven - 带有 Maven Jetty 插件的静态内容

java - Hadoop和jgit在java.io.file和dataoutputstream之间转换

java - 如何在执行作业时将 OracleDriver 添加到 hadoop 类路径?

java - 尝试使用 java 连接远程服务器中的 HBase 时出现连接问题

java - CalledFromWrongThreadException 在 Android 上执行 JUnit 测试

java - 在java中如何通过流获取文件夹的内容?

java - pom.xml 如何解决接缝预订示例项目中的错误,Eclipse Maven

java - 程序 'mvn'可以在以下包:中找到

java - android,如何通过位图找到ImageView?