csv - 为 Impala 上传 CSV

Question

我正在尝试为 Impala 上传 HDFS 上的 csv 文件，但失败了很多次。不确定这里有什么问题，因为我已经按照指南进行操作。而且 csv 也在 HDFS 上。

 CREATE EXTERNAL TABLE gc_imp 
                 (
                  asd INT,
                  full_name STRING,
                  sd_fd_date STRING,
                  ret INT,
                  ftyu INT,
                  qwerINT
                  ) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY','
LOCATION '/user/hadoop/Gc_4';

我遇到的错误。我正在为此使用 Hue。

> TExecuteStatementResp(status=TStatus(errorCode=None,
> errorMessage='MetaException: hdfs://nameservice1/user/hadoop/Gc_4 is
> not a directory or unable to create one', sqlState='HY000',
> infoMessages=None, statusCode=3), operationHandle=None)

任何线索。

Answer 1

/user/hadoop/Gc_4 必须是一个目录。所以你需要创建一个目录，比如/user/hadoop/Gc_4。然后你上传你的 Gc_4 到它。所以文件路径是/user/hadoop/Gc_4/Gc_4。之后可以使用LOCATION指定目录路径/user/hadoop/Gc_4。

LOCATION 必须是目录。此要求在 Hive 和 Impala 中相同。