sql-server - 从sql server导入数据到hbase

标签 sql-server hadoop hbase

我知道 Sqoop 允许我们将数据从 RDBMS 导入 HDFS。我想知道sqoop中的sql server connector是否也允许我们直接将其导入到HBase中?我知道我们可以用 mysql 做到这一点。我想知道是否也可以用 sql server 做同样的事情

最佳答案

我在 Hortonworks 沙箱中工作,我能够通过执行以下步骤将数据从 SQL Server 实例提取到 HBase 表中:

  1. 将 SQL Server JDBC 驱动程序安装到 Hadoop 机器上。

curl -L 'http://download.microsoft.com/download/0/2/A/02AAE597-3865-456C-AE7F-613F99F850A8/sqljdbc_4.0.2206.100_enu.tar.gz' | tar xz

  1. 将驱动程序复制到正确的位置以便 sqoop 能够找到它:

cp sqljdbc_4.0/enu/sqljdbc4.jar/usr/lib/sqoop/lib

  1. 运行 sqoop 导入

sqoop import --hbase-create-table --hbase-table table_name_in_hbase --column-family cf_name --hbase-row-key my_ID --connect "jdbc:sqlserver://hostname:1433;数据库=db_name;用户名=sqoop;密码=???” --table 表名_in_sql_server -m 1

我引用了这些网站:

http://hortonworks.com/hadoop-tutorial/import-microsoft-sql-server-hortonworks-sandbox-using-sqoop/

http://souravgulati.webs.com/apps/forums/topics/show/8680714-sqoop-import-data-from-mysql-to-hbase

关于sql-server - 从sql server导入数据到hbase,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16272422/

相关文章:

java - NameNode没有启动start-all.sh

hbase - 更改 HBase 中的列限定符名称

sql-server - 从 Microsoft SQL Server 导出带有存储过程的文件

sql-server - 使用 T-SQL 语法生成复杂的 XML

sql - 查找出现次数

linux - 超过命名空间配额时如何清空hadoop上的垃圾?

hadoop - 使元数据无效/从 spark 代码刷新 imapala

java - Hbase依赖问题: NoClassDefFoundError RegionCoprocessorHost

hadoop - HDFS rebalancer运行后如何保留HBase数据的本地性?否则如何将数据从一个特定的数据节点移动到另一个?

在 Varchar 列上使用 IsNumeric 出现 SQL 语法错误