hadoop - 用Impala写入S3 Parquet

Question

我想以 Parquet 格式将整个表写入s3a。
我们将其称为表abc_schem.thattable。我想使用Impala查询来
SELECT * WHERE to_date(create_time)='YYYY-MM-DD'

写入Parquet S3的确切语法是什么？

Answer 1

您可以在特定位置创建一个外部表，然后在已配置s3系统的情况下将其插入其中

CREATE EXTERNAL TABLE abc_schem.thattable(
... 
) 
STORED AS PARQUET 
LOCATION 's3a://bucket/path';

然后使用一些LOAD DATA或INSERT INTO... SELECT... FROM命令在此处获取数据