hadoop - HBASE(导入数据)

标签 hadoop import hbase

我是hadoop和Hbase的新手。我有这样的数据

CustID,特质,计数
ABC,IAV,3
ABC,XYZ,3
BCD,iav,4
BCD,ter,4

我想通过API,批量导入(记录大小超过800百万)或从PIG中读取此数据,并在Hbase中将数据显示为(转置)

CustId,iav,xyz,ter
ABC,3、3,NULL
BCD,4,NULL,4

数据在HDFS中。我该怎么做。非常感谢您的指导。作为新手,我无法做很多事情。我主要是 pig 和我一个人。

谢谢,

最佳答案

here

Hadoop生态系统包含许多子项目。 Hbase和Pig只是其中一些。

Hbase是Hadoop数据库,它允许以表方式而不是文件方式来管理数据。

Pig是一种脚本语言,它将在动态 map 上生成缩减任务以获取所需的数据。与手写 map 减少工作相比,它非常紧凑。

关于hadoop - HBASE(导入数据),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22730855/

相关文章:

java - 失败,异常 java.io.IOException :org. apache.avro.AvroTypeException : Found long, 期望在配置单元中联合

python - ODBC中的错误,但Hive的CLI中没有错误?

testing - HbaseTestingUtility和MapReduce作业

linux - YCSB 不适用于 HBase

iphone - Objective C 导入循环警告

hadoop - 在 HDP 集群上安装 Snappy

java - 使用 hadoop 和 java 命令执行 map-reduce 作业有什么区别

hadoop - 如何使用 OpenShift 配置 Hadoop 生态系统集群?

oracle - 导入 Oracle .dmp 文件时出现问题

php - 导入/导出 XLS-MySQL