java - 编写 MapReduce 时 Apache Phoenix 双数据类型问题

Question

我正在使用 Apache Phoenix 在 Hbase 中创建表，因为它提供二级索引功能以及类似 sql 的数据类型。我使用 phoenix 创建了一个包含 Double 和 Varchar 列的表。

CREATE TABLE INVOICE (ROWKEY VARCHAR NOT NULL PRIMARY KEY, CF1.INVOICEID VARCHAR, CF1.TOTALAMOUNT DOUBLE,CF1.STATUS VARCHAR,CF1.CREATEDATE DATE);

Phoenix 将 Double 值作为 ByteArray 存储在 Hbase 中，如下所示

column=CF1:TOTALAMOUNT, timestamp=1434102384451, value=\xC0m@\x00\x00\x00\x00\x01

我编写了 mapreduce 程序来直接从 Hbase SCAN api 读取值，而无需使用 Phoenix，它对 Varchar 值工作正常，但存储为字节数组的其他数据类型返回不同的值。引用 Phoenix 和 mapreduce 输出。所有正 double 值返回为负值，负 double 值返回为 0.018310546875，如下所示

public void map(ImmutableBytesWritable key, Result value, Context context)
 throws IOException, InterruptedException {
Double Val = Bytes.toDouble(value.getValue(CF.TOTALAMOUNT)
context.write(key, new Text(val));
}

-

AQIMPNEW_12345689_SQ123,-100.00000000000001                               
aqipm2037|4567899,0.018310546875,                                   
aqipm2047|456789,-4.9E-324,


Phoenix Output : 
|               TOTALAMOUNT                |
| 100.0                                    |
| -234.0                                   |

| 0.0

Answer 1

Phoenix 使用其不同的转换方案将数据类型存储到 HBase 中。当您使用 Phoenix 获取数据时，它会使用相同的转换方案解码数据并将其显示给您。因此，与其尝试直接从 MR 代码连接 HBase，不如使用 Phoenix Map Reduce 集成。

引用: https://phoenix.apache.org/phoenix_mr.html

但是，如果您仍想直接连接到 HBase，则必须使用 Phoenix 使用的相同编码器和解码器。

引用这个类“org.apache.phoenix.schema.PDataType”: http://grepcode.com/file/repo1.maven.org/maven2/org.apache.phoenix/phoenix/2.2.3-incubating/org/apache/phoenix/schema/PDataType.java#PDataType.BaseCodec.encodeDouble%28double%2Cbyte[]%2Cint%29