configuration - 在 ec2 上手动配置 hadoop

标签 configuration hadoop amazon-ec2

谁能给我指出任何资源的方向,这些资源可以帮助我在 EC2 上手动设置/配置 Hadoop (1.0.4)。我同意有很多资源可以使用工具、服务等来完成这项工作,但我正在寻找的是一些帮助,以确定对 conf/*.xml 文件进行哪些修改手动 slaves 和 master 都是为了让 Hadoop 正常工作。

现在,我有 5 个 ec2 实例在运行,它们都能够在伪分布式模式下单独运行 hadoop 作业。所以,我需要通过配置conf文件的方式,将一个变成master,其余的变成slave,让slave知道namenode和jobtracker在哪里,而master知道所有的slave。

我的理解是,我还必须配置实例的 EC2 安全组,以便它们都可以在正确的端口上相互通信。我想我可以接受。

任何人都可以帮助我完成配置部分,或者指出一些可能有用的东西吗?

最佳答案

我在这里找到了这个详尽的教程,它最终让我开始运行:http://cloudblog.8kmiles.com/2011/12/05/hadoop-fully-distributed-setup/

关于configuration - 在 ec2 上手动配置 hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15931458/

相关文章:

iOS:MDM 与无线配置文件交付和配置之间的区别

asp.net-mvc - Visual Studio 不在我的 Asp.net MVC View 中显示 Linq 扩展

hadoop - 如何编辑Hadoop存储日志文件的位置?

amazon-web-services - 如何在 AWS CLI 中过滤不等于

hadoop - 有关使用Hive和 “(CDH 4.2.0), yarn (Hadoop 2.4.0)”构建Spark的信息?

c# - 应用程序启动失败,因为它的并行配置不正确

json - Hive为Fluentd Apache日志数据创建表语句

java - 使用 Maven 构建 hadoop 错误 : maven-javadoc-plugin

amazon-web-services - 通过 SSH 连接到 EC2 Spot 实例

php - Laravel 从数据库加载设置