hadoop - 为嵌套的CSV数据创建配置单元表

This question already has answers here:

Adding a comma separated table to Hive

(4个答案)

2年前关闭。

我有下面的数据如何为下面的数据创建配置单元表，上面的数据应仅由3列id，sal，name创建。

1,1000,sdadada
2,2000,sadssaa
3,3000,dasasa,daaaas

最佳答案

试试看，它将解决您的问题。

这是我的数据文件，包含:

vivekanand@sys:~/vivek/stack$ cat test.dat 
1,1000,sdadada
2,2000,sadssaa
3,3000,dasasa,daaaas

现在您的解决方案在这里。

hive> create table table_1(
    > id int,
    > sal int,
    > name string)
    > row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' 
    > WITH SERDEPROPERTIES ('input.regex'='^(\\d+)\\,([^\\,]*)\\,(\\S+).*');
OK
Time taken: 0.331 seconds
hive> load data local inpath '/home/vivekanand/vivek/stack/test.dat' into table table_1;
Loading data to table default.table_1
OK
Time taken: 0.162 seconds
hive> select * from table_1;
OK
1   1000    sdadada
2   2000    sadssaa
3   3000    dasasa,daaaas
Time taken: 0.067 seconds, Fetched: 3 row(s)

关于hadoop - 为嵌套的CSV数据创建配置单元表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50207545/

上一篇：java - 如何在HbaseMapReduce作业中为表提供 namespace

下一篇：php - 如何使用php docker容器查看php日志信息？

相关文章：

grails - 在Grails中使用数据库查询按集合中的值排序

c# - 使用 HQL 查询从所有表而不是一个表中获取数据应该只获取 1 个表的数据

jdbc - Hive JDBC 与 CLI 客户端

json - 将多个 JSON 记录从一个文件加载到 HIVE

sql - 如何查看hive变量的计算值

scala - 为什么创建 HiveContext 失败并返回 "java.lang.OutOfMemoryError: PermGen space"？

hadoop - 使用 spark/scala，我使用 saveAsTextFile() 到 HDFS，但是 hiveql("select count(*) from...) return 0

java - 在 Hadoop 中更改文件拆分大小

apache-spark - emrfs同步和导入卡住了，无法正常工作

mongodb - 好的开源或好的社区版 ETL 工具