我有一个 Map/Reduce 程序，它加载一个文件并将其读入 hbase。如何通过 Eclipse 执行我的程序？我用谷歌搜索并找到了两种方法:
1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server
但是，我可以通过提供连接详细信息并在 eclipse 中运行来执行我的 Map/Reduce 程序吗？任何人都可以告诉我运行 Hbase Map/Reduce 程序的确切过程吗？
最佳答案
我做了以下事情:
- 在我的机器上安装并配置了 hadoop(和 hdfs)
- 使用我的 hadoop 作业的所有类构建了一个 maven 化的 java 项目
- 其中一个类是我的“MR”或“作业”类，它有一个配置和提交我的 hadoop 作业的静态主要方法
- 我在 Eclipse 中将 MR 类作为 Java 应用程序运行
该作业使用 java 项目类路径中的库在 hadoop 中运行(因此不会显示在作业跟踪器中)。对 HDFS 文件的任何引用都使用您使用非 eclipse hadoop 安装安装和格式化的 HDFS 文件系统。
这与 Eclipse 中的调试器配合得很好，尽管手动构建 JUnit 测试有点痛苦。
关于eclipse - 在 Eclipse 中运行 Map Reduce 程序，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12282507/