java - 在 Hadoop 中映射应用程序

标签 java hadoop mapreduce client-server cloud

我有一个涉及客户端和服务器的项目。我用java开发了应用程序的两个部分,我想在hadoop集群中测试它,因为服务器端是云的模拟,所以通过使用hadoop,我想让我的应用程序真正意义上的云环境。我首先创建了一个多节点 Hadoop 集群,但我不知道下一步应该做什么。
我将不胜感激。

最佳答案

实现这一点的正确方法是使用一个 restful 接口(interface)来发送命令。

例如,在作为 JobTracker 的计算机上,您可以托管一个 Tomcat 休息服务器。 (确保 hadoop 守护进程在后台运行)。您可以使用基于 Spring/Hibernate 的 servlet 来处理对服务器的请求。最后,在 servlet 中,您可以包含 hadoop-jars 并通过 hadoop API 调用 hadoop,或者您可以通过控制台调用 hadoop (./hadoop runjar blah)。

为了将文件上传到服务器,您可以使用 sftp 接口(interface),或者可能直接将文件上传到 hdfs。

如果你愿意,我可以和你分享一些代码,因为我做过一个类似的项目。

此外,您可以查看 Apache Oozie。他们为 hadoop 提供了一个 Restful 工作流程 api。

关于java - 在 Hadoop 中映射应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18176281/

相关文章:

ubuntu - 在 CDH4 集群上运行 Pig 时无法进入 mapreduce 模式 (Hadoop 2 + MapReduce v1)

java - lucene dateToString,stringToDate

java - 在eclipse中安装maven

algorithm - 如何计算布隆过滤器百分比

java - 持久化实体 nosql (hadoop/hbase/hive)

hadoop - 如何使用Hadoop MapReduce配置对象传递自定义参数?

java - 程序丢失一个增量和两个 `` printf``s

java - 从 PCollection 获取列表

Python 2.7.6 Pydoop 在 Ubuntu 上安装失败

hadoop - 如何在MapReduce作业中以拼写文件格式写入输出?