Amazon Elastic MapReduce 上的 Apache Hama

标签 apache cluster-computing amazon-emr hama

我正在尝试使用 https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama 在 Amazon Elastic MapReduce 上运行 Apache Hama脚本。但是,当尝试使用一个主节点和两个从节点时,peer.getNumPeers()在 BSP 代码中只报告 1 个对等点。我在怀疑哈马是否跑在local模式。

此外,查看 https://hama.apache.org/getting_started_with_hama.html 的配置,我的理解是所有服务器的列表应该放在hama-site.xml属性(property)文件hama.zookeeper.quorum还有 groomservers文件。但是,我想知道这些是否在 install script 中被正确配置了。 .如果有人能指出这是脚本中的限制还是我做错了什么,我将不胜感激。

最佳答案

@马杜拉

Hama 并不总是需要 groomserver文件以运行完全分布式模式。groomserver仅使用 start-bspd.sh 需要运行 hama 集群的文件.但是hama的emr-bootstrap-action使用hama-daemon.sh在每个从节点上运行groomservers文件。在 install script 中执行的代码如下。
$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom
我认为您需要检查 emr 日志是否有错误。

关于Amazon Elastic MapReduce 上的 Apache Hama,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39824634/

相关文章:

mapreduce - 可用于使用 Hadoop/MapReduce 框架的集群

apache - 限制对特定 URL 的访问 (Apache Tomcat)

tomcat - 带有 percona db 集群的 Quartz 调度器给出死锁错误

php - 电子邮件服务器;如何配置 postfix 以满足我的需要? (我需要 SASL 或/和 TLS 吗?)

java - 如何使用 Apache 负载均衡器配置 Tomcat 实例故障转移设置?

apache-spark - 如何让pyspark在emr集群上运行代码

hadoop - Elastic Map Reduce JSON导出到DynamoDB错误AttributeValue可能不包含空字符串

scala - 在 EMR 上使用 Spark 写入 S3 中的文件

apache - 同一路径的多个 Apache Location 指令

php - 如何知道 apache/php 的默认字符集