apache-spark - 如何在 spark sql 中使用 hive 钩子(Hook)

标签 apache-spark hadoop hive apache-spark-sql

我使用 hive(2.1.1) 钩子(Hook),如下所示:

set hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);

我想在 spark sql(2.4.0) 中运行这个 sql,但我发现钩子(Hook)没有被调用。
我像这样运行 spark sql:
spark-sql -e 'set spark.hadoop.hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);'

所以我想知道如何在spark sql中使用hive hook?

最佳答案

Spark不支持hive hook,详情引用:https://issues.apache.org/jira/browse/SPARK-18879

关于apache-spark - 如何在 spark sql 中使用 hive 钩子(Hook),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58535298/

相关文章:

r - 聚集在闪闪发光的

python - 如何在 pyspark 中使用具有多个条件的 join?

hadoop - 从 Windows 使用 Java 访问 HDFS

hadoop - Hadoop安装R

hive - HIVE 中的减号查询

java - 配置单元查询返回非零代码

python - PySpark:获取数据框中每列的第一个非空值

Java/Spark - 按加权平均聚合分组

hadoop - 本地文件系统命令 touch 和 touchz 之间的区别?

arrays - Hive:如何在数组 <string> 类型的列中插入数据