hadoop - Oozie 输出事件

标签 hadoop mapreduce oozie oozie-coordinator

我不明白 Ozzie 中输出事件的用途是什么。 Ozzie 文档指出“协调器操作可以生成一个或多个数据集实例作为输出”,但它没有提供任何实际细节或示例。生成数据集实例作为输出是什么意思?这是否意味着 Ozzie 将通过数据集的 URI 模板创建一个文件夹作为输出?我真的不明白为什么要使用输出事件...

谢谢!

最佳答案

指定 <output-event> 至少有一种用途在你的协调员中。当在一个日期范围内重新运行协调器时(使用 oozie job -rerun 命令),所有相应的路径都指定为 <output-event> s 将被删除。

有时删除协调器实例生成的所有输出很有用。例如,当您想要启动另一个具有这些路径的协调器时 <input-event> s 并且您想确保它将处理重新运行的数据而不是旧数据。

关于hadoop - Oozie 输出事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13118735/

相关文章:

spring - 在运行时模拟用户进行spring hadoop配置

hadoop - 我需要在oozie 的workflow.xml 和job.properties 中提供配置吗?

azure - Oozie在MS Azure Blob存储中共享库

hadoop - 如何将配置传递给Oozie电子邮件操作

hadoop - Airflow 失败 : ParseException line 2:0 cannot recognize input near

java - 独立模式下的错误:权限被拒绝

hadoop - 修改wordcount源代码:hadoop示例。如何将定界符更改为 “.”, “,”或 “”?

java - 尝试使用Hadoop运行mapReduce jar文件

hadoop - 在 Hadoop 中,我在哪里可以更改 namenode 和 jobtracker 网页的默认 url 端口 50070 和 50030

linux - 从主节点执行命令 "hadoop namenode -format "时出错?