java - 将数据从mysql转换到hbase

标签 java mysql hbase

我想将数据表从 MySql 数据库转换为 HBase。 我将用java代码来完成。

所以我从 mySql 选择表,但我找不到如何将它们逐行放入 hbase 的表中。

有什么办法可以实现吗? 我不会通过导入 Tsv 文件或批量文件来执行此操作。 请帮助我。

最佳答案

为什么不使用 Sqoop ?它基于MapReduce,以分布式方式进行数据传输,方便高效。

如果你不想使用Sqoop,你可以直接通过MapReduce来实现(我假设你的数据非常大,因为你正在考虑HBase。所以MapReduce肯定是比普通Java程序更好的选择)。为此,您可以使用 DBInputFormat 。使用 DBInputFormat 读取数据后,您可以使用 TableOutputFormat 将其放入 HBase 表中。

是的,您也可以通过普通的 Java 程序来做到这一点。但恕我直言,这太过分了。

HTH

关于java - 将数据从mysql转换到hbase,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18760880/

相关文章:

php - 我的选择表单不显示数据库项目

MySQL 错误 1064 - 正确的语法?

HBase 节俭 : how to connect to remote HBase master/cluster?

hadoop - 这种架构在 Hadoop MR 中可行吗?

java - 我的 sql jdbc 方法可以免受 sql 注入(inject)攻击吗?

java - 如何在 Java EE 中创建 GUID

java - 为什么 LinkedList 中的 writeObject 方法不检查 ConcurrentModificationException

java - Spring web mvc 示例,引导,创建名称为 'jacksonObjectMapperBuilder' 的 bean 时出错

php - 通过标记页面为本地网页创建搜索选项