hadoop - Hive插入HBase-可能生成 key ？

Question

我一直在尝试通过Hive将.csv文件导入HBase，以避免在Java中编写批量加载程序。我已经设法将整个.csv(十亿行)加载到Hive中，并且由于我在Hbase中遇到了一些问题，因此我试图仅导入前10行，然后再导入其余的行。

事实是，.csv文件没有为要分配为HBase所需的HBase表键的每一行唯一的值。这导致INSERT OVERWRITE仅插入10的最后一行，因为我最初定义为键的列在所有10行中都包含相同的值(但是在整个文件中并非如此)

Hive / Hbase是否有一种方法可以生成具有递增整数/浮点数/任何其他类型的键列？

Answer 1

我看到几种解决方案:

配置单元hbase集成支持复合主键

concat_ws(列)

反射(reflect)(“java.util.UUID”，“randomUUID”)

sha1(concat_ws(columns))＃可能导致碰撞

参见https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration#HBaseIntegration-SimpleCompositeRowKeys