linux - 如何在 AWS ec 虚拟机上使用 hadoop 1.0 配置高可用性

标签 linux hadoop high-availability

我已经在非 VM 设置上使用心跳和虚拟 IP 机制配置了此设置。

我正在使用 hadoop 1.0.3 并使用共享目录进行 Namenode 元数据共享。问题是,在亚马逊云上,没有什么能像虚拟 Ip 那样使用 Linux-ha 获得高可用性。

有没有人能做到这一点。请让我知道所需的步骤?

最佳答案

现在我在 hbase 上使用 Hbase 复制 WAL。 0.92以后的Hbase支持这个。

对于云上的hadoop集群,我会等待2.0版本稳定。

使用了以下内容

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/replication/package-summary.html#requirements

在客户端,我添加了逻辑以拥有 2 个主服务器,在网络中断的情况下交替使用以重新连接。

这个东西适用于简单的 2 台机器相互备份,不推荐用于更多服务器。

希望对您有所帮助。

关于linux - 如何在 AWS ec 虚拟机上使用 hadoop 1.0 配置高可用性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12757133/

相关文章:

linux - 为什么我必须为子进程设置 `wait()`?

linux - 起订量 : running "moq": exec: "moq": executable file not found in $PATH

hadoop - 顶点失败错误和映射器初始化失败 - Hive

java - CAS 服务器 Tomcat 8 Java 8 高可用性(HA/集群)

java - 实现 Java Web 应用程序的高可用性

hadoop - HBase读取高负载

c - 等到文件描述符在没有忙循环的情况下不再可读

linux - 如何使用多线程进行 zlib 压缩(相同输入源)

hadoop - 如何在 pig latin 的日期时间范围内创建丢失的记录

scala - 如何在现有的 Hadoop 2.x 中使用 spark