我是 Spark 和三角洲湖的新手。我正在增量表的顶部创建配置单元表。我有必要的 jar delta-core-shaded-assembly_2.11-0.1.0.jar, hive-delta_2.11-0.1.0.jar;在 hive 类路径中。设置以下属性。
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
但是在创建表时
CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/path/to/my/delta/table'得到以下异常:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J
两个表匹配的架构。堆栈详情:
Spark :2.4.4
hive :1.2.1
任何帮助深表感谢。提前致谢。
最佳答案
Hive with delta Lake 仅支持 spark 3.0 和 delta 版本 0.7.0。
<dependency>
<groupId>io.delta</groupId>
<artifactId>delta-core_2.12</artifactId>
<version>0.7.0</version>
</dependency>
关于apache-spark - 三角洲湖上的 hive 表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62452360/