amazon-web-services - 如何在 EMR 集群中运行/安装 oozie

标签 amazon-web-services elastic-map-reduce oozie emr

我想编排我的 EMR 作业。所以我认为 oozie 会很合适。我已经在 oozie 工作流程上做了一些 POC,但在本地模式下,它相当简单而且很棒。

但我不明白如何在 EMR 集群上使用 oozie。
根据一些搜索,我了解到 aws 没有随 oozie 一起提供,因此我们已将其明确安装为引导操作。
大多数人指向这个链接
https://github.com/lila/emr-oozie-sample

但是由于我是 aws(EMR) 的新手,我仍然对如何使用它感到困惑。
这会很棒,如果有人可以为我提供一些步骤或其他东西来简化它。

谢谢

最佳答案

我有一些问题,我已将其发布到 AWS 技术支持,但得到了以下答复。我试过了,Oozie 已全部安装并运行,无需额外的努力。

为了在 EMR 集群上安装 Oozie,您需要安装 Hue。原因是目前 EMR 上的 Oozie 是作为 Hue 的依赖项安装的。根据 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html,AMI 3.3.0 和 3.3.1 支持 Hue .使用 Hue 启动 EMR 集群后 -> http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hue.html安装后,您应该可以立即使用 Oozie,因为它已经配置并启动。

关于amazon-web-services - 如何在 EMR 集群中运行/安装 oozie,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22342346/

相关文章:

shell - 使用 Oozie 执行 shell 脚本,作业始终仅处于运行状态

java.lang.NoClassDefFoundError : ./oozie-setup.sh sharelib 创建-fs hdfs://localhost:9000

amazon-web-services - CloudFormation - 无法将 GET 方法的输入返回到响应正文

amazon-web-services - 如果只更改一个功能,如何避免在无服务器框架的服务器中部署所有五个功能

amazon-web-services - AWS Cognito 和 Google 属性映射突然不再工作

hadoop - 映射功能在EMR中运行的mapreduce中失败

ios - 如何从认知用户 ID 中删除外部身份并检查当前认知 ID 是否与任何外部身份合并?

java - 监控 AWS EMR 作业运行进度的最佳实践是什么?

java - 多个输出突然不写任何输出?

hadoop - 使用 NiFi 调度 Hadoop 批处理