oracle - Sqoop 导入 Oracle 到 HDFS 3 条记录就可以了。全表失败

标签 oracle hadoop hdfs sqoop


我通过 Sqoop 将数据从 Oracle 导入到 HDFS,其中 3 条记录可以使用以下命令:

./sqoop-import --connect <oracle-jdbc-string> --username <my-user-name> --password <my-password> --table SYS_GROUP --where "Sys_Group_ID < 4"

作业成功完成,有 3 条记录。

但是当我想导入全表时,却失败了。 命令:

./sqoop-import --connect jdbc:oracle:thin:@10.58.71.164:1521:dbmss01 --username <my-user-name> --password <my-password> --table SYS_GROUP --fetch-size 100

日志:

15/12/04 02:32:19 INFO mapreduce.Job: Job job_1448967962138_0005 failed with state FAILED due to: Task failed task_1448967962138_0005_m_000003<br><br>
Job failed as tasks failed. failedMaps:1 failedReduces:0
15/12/04 02:32:19 INFO mapreduce.ImportJobBase: Transferred 378.3994 KB in 96.9962 seconds (3.9012 KB/sec)<br><br>
15/12/04 02:32:19 INFO mapreduce.ImportJobBase: Retrieved 1474 records.<br><br>
15/12/04 02:32:19 ERROR tool.ImportTool: Error during import: Import job failed!

最佳答案

尝试通过在末尾附加 --m 5 来增加映射器的数量

关于oracle - Sqoop 导入 Oracle 到 HDFS 3 条记录就可以了。全表失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34080298/

相关文章:

oracle - LOBSEGMENT 对象填充了 Oracle 中的表空间

SQL CASE语句检查字段中的多个拼写并在找到时返回相同的值?

java - 过于复杂的 oracle jdbc BLOB 处理

Hadoop,机器之间负载不均

hadoop - <问> 如何备份和恢复HDFS

java - @Temporal(TemporalType.DATE) 与 Oracle 12

hadoop - 如何在 Apache Pig 中使用 2 个 for 循环

hadoop - 如何使用源代码创建hadoop-0.21.0-core.jar?

hadoop - 第一代HDFS中是否存在次要NameNode?

hadoop - 在hadoop namenode中读取编辑日志时出错