apache-spark - 写入外部 Hive 表时进行 Spark 压缩

Question

我正在从 Spark 2.1 插入外部 hive-parquet 表(使用 df.write.insertInto(...) 。通过设置例如

spark.sql("SET spark.sql.parquet.compression.codec=GZIP")

我可以在 SNAPPY、GZIP 和未压缩之间切换。我可以验证文件大小(和文件名结尾)是否受这些设置的影响。我得到一个名为例如的文件

part-00000-5efbfc08-66fe-4fd1-bebb-944b34689e70.gz.parquet

然而如果我使用分区的 Hive 表 ，这个设置没有任何作用，文件大小总是一样的。此外，文件名总是

part-00000

现在如何更改(或至少验证)分区情况下 Parquet 文件的压缩编解码器？

我的表是:

CREATE EXTERNAL TABLE `test`(`const` string, `x` int)
PARTITIONED BY (`year` int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
)
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

Answer 1

当您创建外部表时，我会像这样进行:

首先使用所需的压缩编写您的 Parquet 数据集:

df.write
 .partitionBy("year")
 .option("compression","<gzip|snappy|none>")
 .parquet("<parquet_file_path>")

您可以像以前一样使用文件扩展名进行检查。
然后，您可以按如下方式创建外部表:

CREATE EXTERNAL TABLE `test`(`const` string, `x` int)
PARTITIONED BY (`year` int)
STORED AS PARQUET
LOCATION '<parquet_file_path>';

如果外部表已存在于 Hive 中，则只需运行以刷新表:

MSCK REPAIR TABLE test;