hadoop - 无法分区由HDFS支持的配置单元表

Question

也许这是一个简单的问题，但我很难解决这个问题。目前，我有一个伪分布式HDFS，其中包含使用protobuf 3.0.0编码的记录。然后，使用Elephant-Bird / Hive，我可以将该数据放入Hive表中进行查询。我遇到的问题是对数据进行分区。

这是我正在使用的表创建语句

CREATE EXTERNAL TABLE IF NOT EXISTS test_messages
  PARTITIONED BY (dt string)
    ROW FORMAT SERDE 
        "com.twitter.elephantbird.hive.serde.ProtobufDeserializer"
    WITH serdeproperties (
      "serialization.class"="path.to.my.java.class.ProtoClass")
  STORED AS SEQUENCEFILE;

该表已创建，查询表时未收到任何运行时错误。

当我尝试按以下方式加载数据时:

ALTER TABLE test_messages_20180116_20180116 ADD PARTITION (dt = '20171117') LOCATION '/test/20171117'

我收到“确定”的声明。但是，当我查询表时:

select * from test_messages limit 1;

我收到以下错误:

Failed with exception java.io.IOException:java.lang.IllegalArgumentException: FieldDescriptor does not match message type.

我一直在阅读Hive表，并看到分区列不需要成为要加载的数据的一部分。我尝试对日期进行分区的原因既是为了提高性能，更重要的是，因为“LOAD DATA ...”语句在HDFS中的目录之间移动文件。

附言我证明了我可以对配置单元表运行查询而无需进行分区。

有什么想法吗 ？

Answer 1

我看到您已经创建了EXTERNAL TABLE。因此，您不能使用配置单元添加或删除分区。您需要使用hdfs或MR或SPARK创建一个文件夹。 EXTERNAL表只能由配置单元读取，而不能由HDFS管理。您可以检查hdfs位置“/ test / dt = 20171117”，您将看到尚未创建该文件夹。

我的建议是使用“hadoop fs -mkdir'/ test / 20171117'”创建文件夹(分区)，然后尝试查询表。尽管它将给出0行。但是您可以将数据添加到该文件夹​​并从Hive中读取。