我最近遇到了 Apache Mesos，并成功在 Mesos 上部署了我的 Storm 拓扑。
我想尝试通过 Apache Marathon 运行 Storm 拓扑/Hadoop 作业(使用 mesos-storm 框架直接在 Apache Mesos 上运行 Storm 时遇到问题)。
我找不到任何教程/文章可以列出如何从 Apache Marathon 启动 Hadoop/Spark 任务的步骤。
如果有人能够提供有关此主题的任何帮助或信息(可能是 Marathon 用于启动 Storm/hadoop 作业的 Json 作业定义)，那就太好了。
非常感谢
最佳答案
感谢您的回复，我继续使用 Marathon 在 Apache Mesos 上部署了 Storm-Docker 集群。对于服务发现，我使用了 HAProxy。此设置允许服务(nimbus 或 Zookeeper 等)在端口的帮助下相互通信，因此例如为服务添加多个实例不是问题，因为集群将使用端口找到它们并在所有服务之间对请求进行负载平衡。服务的实例。以下是包含 Marathon 配方和 Docker 镜像的 GitHub 项目:https://github.com/obaidsalikeen/storm-marathon
关于mesos - 在 Apache Marathon 上运行 Hadoop/Storm 任务，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27348576/