hadoop - 配置单元语法过程控制

标签 hadoop syntax process hive

我有几个 hive 脚本文件(+350 .hql)在一个脚本创建另一个脚本需要的表的意义上相互关联。问题是,总是会出现许多与消费没有脚本创建的表或列有关的错误。那么问题来了:是否有任何方法可以仅启动hive的语法验证器,或者采用脚本并仅创建元数据,而不是为了测试脚本之间的关系而花费所有时间较长的表(表)?

最佳答案

我在考虑解决方案,但我不确定是否是最佳解决方案。给定主要输入来自sqoop表,第一个想法是将这些表的引用替换为对虚拟sqoop表或仅具有几行或没有行的输入表的引用,以创建元数据。在此之后,所有后续脚本都将使用空表作为输入(或具有很少行的表)来处理完整的重表

关于hadoop - 配置单元语法过程控制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38568695/

相关文章:

c# - 如何根据退出代码执行任意可执行文件和失败的 Cake 构建?

ruby - 在 ruby​​ 中使用其 PID 终止进程

hadoop - 使用 Hadoop 的高性能机器的成本效益

javascript - 以 "jQuery(function..."开头包装 jQuery block 与以 "})(jQuery);"结尾包装 jQuery block 之间的区别

syntax - 方案语法转换

java - 写几行批处理

hadoop - 无法从IBM Bluemix上的适用于Apache Hadoop的Analytics(分析)连接到Big SQL

hadoop - Hadoop本地主机:9870在格式化hdfs namenode之前不起作用

Hadoop 一个Map和多个Reduce

javascript - 为什么要在这个 var 声明中将这个变量赋值给它自己?