我想用 Java 编写 MapReduce 作业。为此,我在 Ubuntu 14.04 LTS VM 中安装了 Hadoop 2.6.0。安装目录为/usr/local/hadoop
。
现在根据很多教程,他们在 /contrib
目录中找到了一个 Eclipse 插件,并将其粘贴到 /Eclipse/plugins
文件夹中。
问题是没有 src/contrib
文件夹,也没有任何与 Hadoop 2.6.0 捆绑的 Eclipse 插件。那么如何配置 Eclipse Europa 来运行 Hadoop MapReduce 作业呢?如果这不可能,那么编写 MapReduce 作业的替代方案是什么?
最佳答案
将 Hadoop-2.6.0 与 eclipse 集成
- 在所有 Hadoop 进程运行的地方创建用户“hdfs”。
- Hadoop 安装到目录“/opt/hadoop”。
- Eclipse 安装到目录“/opt/eclipse”。
第 1 步: 下载hadoop-eclipse-plugin 2.6.0 jar
第 2 步: 将 Eclipse 的 Map-Reduce 插件复制到 Eclipse 文件夹的插件目录中 – sudo cp/home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar/opt/eclipse/plugins/ 使用命令重新启动 Eclipse – /opt/eclipse/eclipse -vm/usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m 如果由于 X11 转发问题而无法启动 elcipse,请尝试在切换到“hdfs”时使用“sux”而不是“su”。 第三步:启动 eclipse 1.$ECLIPSE_HOME/eclipse
第 4 步:在 Eclipse 菜单中单击 Window --> Open Perspective --> Others --> MapReduce
第 5 步:在底部 MapReduce 图标中单击“添加新的 Hadoop 位置”
第6步:输入MapReduce & HDFS运行端口 回想一下,$HADOOP_HOME/conf/mapred-site.xml 中指定的 MapReduce 端口 (9001) 回顾一下,在 $HADOOP_HOME/conf/core-site.xml 中指定的 HDFS 端口 (9000) 输入Hadoop用户名
第 7 步:添加 Hadoop 位置后,DFS 位置将在 Eclipse Project Explorer 窗口中看到/显示(Windows-->Show View-->Project Explorer)
第 8 步:添加 Hadoop 后,DFS 位置将在 Project Explorer 窗口中可见/显示,
第 9 步:右键单击 DFS 位置,然后单击“连接”
第10步:连接成功后,会显示所有DFS文件夹。
第11步:您可以创建目录,将文件上传到HDFS位置,通过右键单击任何列出的目录将文件下载到本地。
关于java - Hadoop 2.6.0 的 Eclipse 插件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28494727/