hadoop - oozie - 捕获日期并将其作为配置单元参数传递

标签 hadoop hive oozie

我需要定期将文件从本地文件系统加载到 hdfs 并更新配置单元表分区。更新分区的查询取决于

timestamps(select * where date = "").

可以使用 Oozie EL,但我需要今天和昨天的日期。 此外,我不明白如何捕获日期并将其作为参数传递到配置单元脚本中。

我该怎么做,有什么想法吗?

最佳答案

您可以编写一个 coordinator.xml 并使用它的日期函数

${coord:dateOffset(coord:nominalTime(), -1, 'DAY')}

文档在这里:http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html#a6.7.3._coord:nominalTime_EL_Function

关于hadoop - oozie - 捕获日期并将其作为配置单元参数传递,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19915703/

相关文章:

java - hadoop - HDFS 文件分发

hadoop - 插入 Hive 表 - 非分区表到分区表 - 无法插入目标表,因为列号/类型

hadoop - 通过pyspark更新Hive中的插入数据

performance - 自定义映射器和 Reducer 与 HiveQL

hadoop - 如何在 oozie 协调器中使用一天的旧数据集

conditional-statements - 如何根据标志使用带输入路径的 Oozie 操作

hadoop - 如何在 Hadoop v 0.21 中调用 Partitioner

hadoop - 要安装和运行什么版本的 hadoop?

hadoop - root scratch dir :/tmp/hive on HDFS should be writable. 当前权限为:-wx------

oozie - 从命令行列出并执行Oozie作业