apache-spark - PySpark无法通过sparkContext/hiveContext读取Hive ORC事务表？我们可以使用Pyspark更新/删除配置单元表数据吗？

Question

我尝试使用PySpark访问Hive ORC事务表(在HDFS上具有基础增量文件)，但无法通过sparkContext / hiveContext读取事务表。

/ mydim / delta_0117202_0117202

/ mydim / delta_0117203_0117203

Answer 1

Officially Spark not yet supported for Hive-ACID table, get a full dump/incremental dump of acid table to regular hive orc/parquet partitioned table then read the data using spark.

有一个开放的Jira saprk-15348，添加了对读取 Hive ACID 表的支持。

如果在酸性表(来自配置单元)上运行 major compaction ，则spark仅能够读取 base_XXX 目录，而不能读取此jira中寻址的delta目录Spark-16996。

本链接中提到了一些使用SPARK-LLAP读取酸表的解决方法。

我认为从开始HDP-3.X HiveWareHouseConnector能够支持读取HiveAcid表。