hadoop - Sqoop JDBC 连接在导入之后但在配置单元导入之前超时

标签 hadoop cloudera sqoop

我们使用的是 Sqoop v1.4.4

14/05/27 13:49:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.0.0
Sqoop 1.4.4-cdh5.0.0
git commit id 8e266e052e423af592871e2dfe09d54c03f6a0e8

当我从 Oracle 导入一个需要 1 多个小时才能提取的表时,当 Sqoop 尝试将数据从临时 HDFS 位置导入 Hive 时,我收到以下错误消息:
14/05/27 13:05:51 INFO mapreduce.ImportJobBase: Transferred 47.2606 GB in 6,389.4644 seconds (6.7206 MB/sec)
14/05/27 13:05:51 INFO mapreduce.ImportJobBase: Retrieved 98235461 records.
14/05/27 13:05:51 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@566d0085
14/05/27 13:05:51 DEBUG hive.HiveImport: Hive.inputTable: WAREHOUSE.MY_BIG_TABLE
14/05/27 13:05:51 DEBUG hive.HiveImport: Hive.outputTable: WAREHOUSE.MY_BIG_TABLE
14/05/27 13:05:51 DEBUG manager.OracleManager: Using column names query: SELECT t.* FROM WAREHOUSE.MY_BIG_TABLE t WHERE 1=0
14/05/27 13:05:51 DEBUG manager.SqlManager: Execute getColumnTypesRawQuery : SELECT t.* FROM WAREHOUSE.MY_BIG_TABLE t WHERE 1=0
14/05/27 13:05:51 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-02396: exceeded maximum idle time, please connect again

java.sql.SQLException: ORA-02396: exceeded maximum idle time, please connect again

    at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:447)
    at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:389)

小 table (不到 1 小时)一切都很好。

这个问题看起来 正是 如本 SQOOP-934 中所述问题,它已在 1.4.4 版中修复,但正如我所说,我们使用的是 v1.4.4

最佳答案

此问题已在 Sqoop 版本 1.4.5 中修复 (SQOOP-1329)

关于hadoop - Sqoop JDBC 连接在导入之后但在配置单元导入之前超时,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23890886/

相关文章:

mysql - 从 MySQL 选择表名作为文件发送到 HDFS

hadoop - 是否可以通过 Hive QL 获取角色信息?

hadoop - 限制每个用户的并发 reducer 数量

hadoop - Oozie作业提交失败

hadoop - 为 MS SQL 数据库启用 ssl 的 Sqoop 中的 InvalidAlgorithmParameterException 问题

mysql - 将没有数字 ID 的非常大的表从 MySQL 加载到 S3

hive - sqoop 从 hive 分区 parquet 表导出到 oracle

hadoop - 如何使用当前时间戳作为 Hive 输出的文件名

hadoop - 如何获取FlinkSQL中Row的长度?

Hadoop 安装 - Datanode 正在运行,但未在 JPS 中显示