我正在尝试使用 https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama 在 Amazon Elastic MapReduce 上运行 Apache Hama脚本。但是,当尝试使用一个主节点和两个从节点时,peer.getNumPeers()
在 BSP 代码中只报告 1 个对等点。我在怀疑哈马是否跑在local
模式。
此外,查看 https://hama.apache.org/getting_started_with_hama.html 的配置,我的理解是所有服务器的列表应该放在hama-site.xml
属性(property)文件hama.zookeeper.quorum
还有 groomservers
文件。但是,我想知道这些是否在 install script 中被正确配置了。 .如果有人能指出这是脚本中的限制还是我做错了什么,我将不胜感激。
最佳答案
@马杜拉
Hama 并不总是需要 groomserver
文件以运行完全分布式模式。groomserver
仅使用 start-bspd.sh
需要运行 hama 集群的文件.但是hama的emr-bootstrap-action使用hama-daemon.sh
在每个从节点上运行groomservers文件。在 install script 中执行的代码如下。$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom
我认为您需要检查 emr 日志是否有错误。
关于Amazon Elastic MapReduce 上的 Apache Hama,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39824634/