java - Hadoop 2.6.0 的 Eclipse 插件

标签 java eclipse hadoop eclipse-plugin hadoop2

我想用 Java 编写 MapReduce 作业。为此,我在 Ubuntu 14.04 LTS VM 中安装了 Hadoop 2.6.0。安装目录为/usr/local/hadoop

现在根据很多教程,他们在 /contrib 目录中找到了一个 Eclipse 插件,并将其粘贴到 /Eclipse/plugins 文件夹中。

问题是没有 src/contrib 文件夹,也没有任何与 Hadoop 2.6.0 捆绑的 Eclipse 插件。那么如何配置 Eclipse Europa 来运行 Hadoop MapReduce 作业呢?如果这不可能,那么编写 MapReduce 作业的替代方案是什么?

最佳答案

将 Hadoop-2.6.0 与 eclipse 集成

  1. 在所有 Hadoop 进程运行的地方创建用户“hdfs”。
  2. Hadoop 安装到目录“/opt/hadoop”。
  3. Eclipse 安装到目录“/opt/eclipse”。

第 1 步: 下载hadoop-eclipse-plugin 2.6.0 jar

第 2 步: 将 Eclipse 的 Map-Reduce 插件复制到 Eclipse 文件夹的插件目录中 – sudo cp/home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar/opt/eclipse/plugins/ 使用命令重新启动 Eclipse – /opt/eclipse/eclipse -vm/usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m 如果由于 X11 转发问题而无法启动 elcipse,请尝试在切换到“hdfs”时使用“sux”而不是“su”。 第三步:启动 eclipse 1.$ECLIPSE_HOME/eclipse

第 4 步:在 Eclipse 菜单中单击 Window --> Open Perspective --> Others --> MapReduce

第 5 步:在底部 MapReduce 图标中单击“添加新的 Hadoop 位置”

第6步:输入MapReduce & HDFS运行端口 回想一下,$HADOOP_HOME/conf/mapred-site.xml 中指定的 MapReduce 端口 (9001) 回顾一下,在 $HADOOP_HOME/conf/core-site.xml 中指定的 HDFS 端口 (9000) 输入Hadoop用户名

第 7 步:添加 Hadoop 位置后,DFS 位置将在 Eclipse Project Explorer 窗口中看到/显示(Windows-->Show View-->Project Explorer)

第 8 步:添加 Hadoop 后,DFS 位置将在 Project Explorer 窗口中可见/显示,

第 9 步:右键单击 DFS 位置,然后单击“连接”

第10步:连接成功后,会显示所有DFS文件夹。

第11步:您可以创建目录,将文件上传到HDFS位置,通过右键单击任何列出的目录将文件下载到本地。

关于java - Hadoop 2.6.0 的 Eclipse 插件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28494727/

相关文章:

java - 从 arraylist 创建 3 列 html 表?

java - 将 Java 项目部署到 JBoss 服务器

eclipse - 无法将 JSP 文件添加到项目中

hadoop - 增加 HDP 2.3 3 节点集群中的 HDFS 磁盘大小

java - 保留已完成工作项顺序的多线程执行

java - Java 中的日期计算不正确。区域问题

eclipse - HTTP 状态 500 - 无法使用 Date 方法在 Eclipse 中为 JSP 编译类

hadoop - 如何在Pig脚本中注册类路径文件?

hadoop - 如何用大数据做增量计算

JavaFX如何计算打字错误