hadoop - 有没有办法使用Hive进行访问存储在HBase中的Avro数据的分析

标签 hadoop mapreduce hive hbase avro

我的Hbase表中的行包含序列化的avro(使用havrobase放入其中)和字符串数据。我知道Hive表可以映射到hdfs中存储的avro数据以进行数据分析,但是我想知道是否有人试图将hive映射到包含avro数据的hbase表。基本上,我需要能够查询存储在Hbase中的avro和非avro数据,进行一些分析并将结果存储在其他hbase表中。我还需要具有作为批处理作业执行此操作的能力。我不想编写JAVA MapReduce作业来执行此操作,因为我们不断更改配置,并且需要使用脚本化方法。有什么建议么?提前致谢!

最佳答案

您可以编写HBase协处理器以将avro记录公开为常规HBase限定符。您可以在Intel's panthera-dot中看到该实现

关于hadoop - 有没有办法使用Hive进行访问存储在HBase中的Avro数据的分析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21943638/

相关文章:

hadoop - Pig 脚本使用 HCatalog 标志?

hadoop - 更好地从 Hive 或 Pig 中的平面文件读取?

hadoop - Cosmos Hive 错误进入和使用 map reduce

logging - 如何在控制台上抑制 Hadoop 日志消息

hadoop - 在Apache Pig的LoadFunc中使用分布式缓存

hadoop - 失败 : Execution Error, 从 org.apache.hadoop.hive.ql.exec.spark.SparkTask 返回代码 2

hadoop - 使用 Hadoop MapReduce 对字数进行排序

hadoop - 如何调整从(非EMR)Hive到S3的数据上传?

hadoop - 一个基于大型事件的表或多个表? Hive 表设计注意事项

hadoop - 30秒后,我的HMaster消失了。错误