hadoop - 增量导入没有主键的 Oracle 表到 HDFS

标签 hadoop sqoop

我的 Oracle 数据库有近 300 个表,其中 200 个表没有任何主键,很少有表有复合主键。我的要求是以增量方式将所有表数据导入HDFS。你能告诉我如何使用 Sqoop 实现这一点吗?如果建议任何其他选项,这将非常有帮助。

最佳答案

不幸的是,无法识别更新的行(您表示您不跟踪更新时间戳),这使得使用增量加载来捕获更改实际上是不可能的。

一些可能性:

  1. 添加时间戳
  2. 满载
  3. 使用行号来识别新记录,不处理更新的记录

关于hadoop - 增量导入没有主键的 Oracle 表到 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49876894/

相关文章:

hadoop - 如何将数字分割并在两者之间添加字符

java - Hadoop单节点集群报错

hadoop - 如何在没有Sqoop的情况下将数据从RDBMS移到hadoop?

sql - 仅将更新的记录从 SQL 导入到 Hive

hadoop - 多个文件是否存储在一个 block 中?

java - MapReduce 程序不在 main 和 mapper 之间共享字符串变量

performance - Magic committer 没有提高 Spark3+Yarn3+S3 设置中的性能

hadoop - Hadoop 中的内部存储

sqoop - 导入失败: Duplicate Column identifier specified (sqoop)

hadoop - 使用 sqoop import,如何将行追加到现有的配置单元表中?