我尝试在我的 hbase 中移动 851 数据,因为我使用以下命令创建了 hbase
create 'customers', 'customers_data'
我使用 pig 脚本移动文件。我的 pig 脚本是
STOCK_A = LOAD '/user/cloudera/xxx' USING PigStorage('|');
data = FILTER STOCK_A BY ( $0 matches '.*MH.*');
MH_DATA = FOREACH data GENERATE $1, $3, $4;
STORE MH_DATA into 'hbase://customers' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('customers_data:firstname, customers_data:lastname, customers_data:age');
我使用 pig 命令获得了 851 条数据。我的数据是
(aman,george,22)
(aman,george,22)
(aman,george,22)
.
.
.
.
.
851
但是当我尝试使用以下命令将这些数据放入 hbase 时
PIG_CLASSPATH=/usr/lib/hbase/hbase.jar:/usr/lib/zookeeper/zookeeper-3.4.5-cdh4.4.0.jar /usr/bin/pig /home/cloudera/remot/pighl7
存储在 HBASE 中的数据是
ROW COLUMN+CELL
\xB5~\x5C& column=customers_data:firstname, timestamp=1478700582076, value=george
\xB5~\x5C& column=customers_data:lastname, timestamp=1478700582076, value=22
我找不到我的 851 记录以及第三个参数。我不知道我做错了什么。 请帮忙
最佳答案
我认为您错过了在生成语句中提供别名(为了安全起见,我已将您的元组转换为字符数组)
最后还要为您的商店关系命名
尝试:
MH_DATA = FOREACH data GENERATE (chararray)$1 AS firstname , (chararray)$3 AS lastname, (chararray)$4 AS age;
STORE_IN_HBASE = STORE MH_DATA into 'hbase://customers' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('customers_data:firstname, customers_data:lastname, customers_data:age');
有关更多信息,请点击此链接: https://pig.apache.org/docs/r0.14.0/api/org/apache/pig/backend/hadoop/hbase/HBaseStorage.html
关于hadoop - 使用 Pig 将数据移动到 HBASE,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40509486/