下面是从 DB2::列出数据库的 sqoop 命令
sqoop list-databases --connect 'jdbc:db2://DB_IP:PORT/' --username xxx --password xxx --driver com.ibm.db2.jcc.DB2Driver
但我得到以下错误::
WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
DB2 的 --connection-manager 是什么?
更改了 sqoop 语法
sqoop import -libjars <path to>/db2jcc4.jar --connect 'jdbc:db2://DB_IP:PORT/' --username xxx -password xxx -m 1 --table db2_DB_name.db2_tbl_name --hive-overwrite --hive-import --hive-database amitesh_db --hive-table amitesh_db2test --target-dir <path_to>/db2test --as-parquetfile
以下是我收到的错误::
ERROR manager.SqlManager: Error executing statement: com.ibm.db2.jcc.am.SqlSyntaxErrorException: [jcc][10165][10047][x.xx.xx] Invalid database URL syntax: jdbc:db2://<db_ip>:<port>/. ERRORCODE=-4461, SQLSTATE=42815
com.ibm.db2.jcc.am.SqlSyntaxErrorException: [jcc][10165][10047][4.17.28] Invalid database URL syntax: jdbc:db2://<db_ip>:<port>/. ERRORCODE=-4461, SQLSTATE=42815
最佳答案
问题在于 JDBC JARS,对于 DB2,您必须将 jar 添加到/var/lib/sqoop 并授予适当的权限。您显示的日志/错误快照不是错误,它只是警告。
请按照以下步骤添加 jar 并引用 sqoop 示例来构建您的 sqoop 代码/命令。
1 >>> 从 here 下载 db2jcc.jar 和 db2jcc_license_cisuz.jar或者从任何你能找到的地方。
2 >>> 跨集群(数据节点和边缘节点)将两个 jar 推送到/var/lib/sqoop,sqoop 应该具有对 jar 的读取和执行权限。
下面是您可以使用的 sqoop 示例,利用下面代码的 libjars 部分。
sqoop import -libjars /var/lib/sqoop/db2jcc.jar,/var/lib/sqoop/db2jcc_license_cisuz.jar --connect 'jdbc:db2://<HOST>:<PORT>/<DATABASE_NAME>' --username xxxxxx -password xxxxx -m 1 --table ${DB2Schema}.${DB@Table} --hive-overwrite --hive-import --hive-database ${HIVE_DATABASE} --hive-table ${HIVE_TABLE} --target-dir ${HDFS_DIR} --as-parquetfile
请注意,sqoop 不支持 DB2 数据库中的列表数据库。在官方结帐sqoop doc .
注:来自sqoop文档
This only works with HSQLDB, MySQL and Oracle. When using with Oracle, it is necessary that the user connecting to the database has DBA privileges.
关于hadoop - 通过 SQOOP 连接到 DB2 时出现连接管理器错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48443881/