我想构建一个 UI 工具,用户可以在其中提交他们的表达式,并基于该表达式在 Hadoop 集群的后端触发 MR 作业。 MR 作业完成后,需要发送一封电子邮件,在电子邮件正文中包含结果摘要。
我以前从未以这种方式执行过 MR 作业,我对如何实现这一点感到很困惑。有什么框架可以帮助我吗?或者关于如何自行实现它的任何想法?
谢谢
最佳答案
hadoop中有一个叫做Oozie的组件,它是一个工作流系统。这将安排或自动化 MapReduce 作业。您的应用程序需要与 Hadoop API 协调,我认为更好的开始方式是探索 Oozie API 并对您的项目进行可行性研究。这是个好主意,而且是可行的。有很多应用程序构建在 Hadoop 之上。祝你好运!
https://oozie.apache.org/docs/3.1.3-incubating/WebServicesAPI.html
关于hadoop - 触发 Hadoop 上的 map 缩减作业并在完成时发送电子邮件的 UI 仪表板,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29523167/