hadoop - 在具有困惑数据且未修改时间列的表上以sqoop增量导入

Question

假设我有一张表Customer:

CustomerID  CustomerName  CustomerBill
7           John          100
2           Bill          500
4           Mark          200

这里，CustomerID是主键，但是记录没有特定的顺序。数据库的相应表中没有修改的时间列。先前的条目也可以更改。如何对数据进行增量导入？

我正在使用的数据库是Sybase，并将其导入到Hive。

Answer 1

Records are in no particular order.

append 模式无法使用。

There is no modified time column in the corresponding table in the database.

lastmodified 模式无法使用。

Sqoop做任何特殊的事情。它需要递增ID或更新timstamp才能进行SQL查询以获取，只有插入/更新了。