hadoop - 将 Pig 与 Hbase 集成

标签 hadoop hbase apache-pig

我在linux上安装了hadoop-2.5.0、pig 0.13.0和HBase 0.98.6.1。尝试运行简单的 pig 脚本时,出现错误

2014-10-14 16:01:54,891 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org.apache.hadoop.hbase.util.Bytes.equals([BLjava/nio/ByteBuffer;)Z Details at logfile: /home/labuser/pig_1413279561970.log

粘贴下面的日志...

Pig 堆栈跟踪

ERROR 2998: Unhandled internal error. org.apache.hadoop.hbase.util.Bytes.equals([BLjava/nio/ByteBuffer;)Z

java.lang.NoSuchMethodError: org.apache.hadoop.hbase.util.Bytes.equals([BLjava/nio/ByteBuffer;)Z at org.apache.hadoop.hbase.TableName.(TableName.java:281) at org.apache.hadoop.hbase.TableName.createTableNameIfNecessary(TableName.java:344) at org.apache.hadoop.hbase.TableName.valueOf(TableName.java:382) at org.apache.hadoop.hbase.TableName.(TableName.java:82) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:190)

HBase 0.98.6.1版本好像不支持pig 0.13.0
那么如何让它发挥作用呢?或者哪个版本的 HBase 支持 pig 0.13.0?

最佳答案

此问题的根本原因已确定为 https://issues.apache.org/jira/browse/HBASE-6658它说类“org.apache.hadoop.hbase.filter.WritableByteArrayComparable”已重命名。

您可能需要使用您正在使用的 HBase 配置文件重新编译。

关于hadoop - 将 Pig 与 Hbase 集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26359234/

相关文章:

python - 使用 python 将 JSON 保存到 HDFS

c# - 保持连接事件以从 .csv 文件读取批量数据

hadoop - Hbase 模式是否已读取?

nosql - HBase的最小服务器组成是多少?

hadoop - 如何使用Pig从字符串中获取有效的日期格式

Hadoop HA active NN 不断崩溃,自动故障转移不起作用

python - 带有paramiko的MapReduce如何在流式输出时打印stdout

hbase - 我可以通过减小 hdfs block 大小来提高 HBase 性能吗?

hadoop - oozie pig 配置操作中的 <job-tracker> 和 <name-node> - 我在哪里可以找到它们?

sql - 在 Hive 或 Impala 或 Pig 中通过字符串匹配连接表