hadoop - 使用Serde在Hive-0.14中进行简单的JSON文件分析

Question

我试图使用jsonserde在json文件上执行hive命令，但是我总是得到null值，而不是实际数据。我已使用“code.google.com/p/hive-json-serde/downloads/list”链接中提供的serde。我尝试了多种方法，但所有尝试均未成功。请有人可以帮助我了解要遵循的确切步骤以及要使用的Serde，以便在Apache Hive最新版本(0.14)中使用json文件。

BR
圣

Answer 1

这是在Hive中使用JSON的简单步骤

创建配置单元表

CREATE EXTERNAL TABLE IF NOT EXISTS json_table (
    field1 string COMMENT 'This is a field1',
    field2 int COMMENT 'This is a field2',
    field3 string COMMENT 'This is a field3',
    field4 double COMMENT 'This is a field4'
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
Location '/path/to/json_table';

表的样本数据。将以下内容复制到json文件中，并存储到json_table指向的文件位置。

{"field1":"data1","field2":100,"field3":"more data1","field4":123.001}
{"field1":"data2","field2":200,"field3":"more data2","field4":123.002}
{"field1":"data3","field2":300,"field3":"more data3","field4":123.003}
{"field1":"data4","field2":400,"field3":"more data4","field4":123.004}

确保在HIVE类路径中添加了JSON Serde Jar文件。在此示例中，我们使用了openx json serde。可以从here下载

命令添加 jar

 ADD JAR /path-to/json-serde-1.3.6-jar-with-dependencies.jar;

现在我们可以查询json_table中的条目

select * from json_table;