hadoop - 触发 Hadoop 上的 map 缩减作业并在完成时发送电子邮件的 UI 仪表板

标签 hadoop mapreduce

我想构建一个 UI 工具,用户可以在其中提交他们的表达式,并基于该表达式在 Hadoop 集群的后端触发 MR 作业。 MR 作业完成后,需要发送一封电子邮件,在电子邮件正文中包含结果摘要。

我以前从未以这种方式执行过 MR 作业,我对如何实现这一点感到很困惑。有什么框架可以帮助我吗?或者关于如何自行实现它的任何想法?

谢谢

最佳答案

hadoop中有一个叫做Oozie的组件,它是一个工作流系统。这将安排或自动化 MapReduce 作业。您的应用程序需要与 Hadoop API 协调,我认为更好的开始方式是探索 Oozie API 并对您的项目进行可行性研究。这是个好主意,而且是可行的。有很多应用程序构建在 Hadoop 之上。祝你好运!

http://oozie.apache.org/

https://oozie.apache.org/docs/3.1.3-incubating/WebServicesAPI.html

关于hadoop - 触发 Hadoop 上的 map 缩减作业并在完成时发送电子邮件的 UI 仪表板,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29523167/

相关文章:

hadoop - 使用 “declare”定义要在PIG中加载的s3 url

java - 合并来自 hadoop map-reduce 的结果

hadoop - 将 reducer 设置为默认值,但最后我有两个文件

hadoop - cleanup() 方法是否为失败的 map task 调用?

c++ - mapreduce c 编程无法与 -fPIC 链接,如何解决?

mongodb - Hadoop 是小数据的好解决方案吗?

java - Hadoop在Cloudera中走上VMware

hadoop - Hadoop-NodeManager和DataNode不再启动

hadoop - 连接错误 : <class 'thrift.transport.TTransport.TTransportException' > Could not connect to localhost:21000

java - Hadoop 自定义 InputFileFormat 生成空结果