我有一个其他人编码的 hadoop 项目(链接)。我有源码。我想在我的集群(基本上是 3 台 ubuntu 机器)上实现这个。但提到的项目可以在 EC2 平台上运行(使用 Cloudera 发行版)。
那么,我应该在我的系统上安装什么才能使其拥有运行这样的项目的软件?
我想到了 Cloudera Manager、Oracle Java。
最佳答案
如果该项目适用于cloudera发行版(不适用于EMR),则可以安装cloudera,应该没问题。如果 s3 被用作文件系统,我认为只有一个角落会出现问题。
如果该项目确实适用于 s3,您有两种方法:
a) 尝试将 s3 替换为 hdfs 以及所有文件名/路径,它也应该可以正常工作(如果它们是硬编码的)。
b) 安装 OpenStack 的 Swift(S3 的开源替代品),然后尝试在其上运行 Hadoop。披露:我参与了在 Swift 上运行 hadoop 的项目。 https://github.com/Dazo-org/swift
关于ubuntu - 如何在我的系统上拥有类似 Amazon EC2 的环境?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9371481/