mysql - sqoop中如何增量导入导入固定行数？

Question

我正在自己学习 sqoop，并尝试使用下面提到的代码在本地测试增量导入功能

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 1000' \
-m 1 \
--incremental append \
--check-column emp_no \
--target-dir sqoop/import_data/employee_db_import_incremental

上面的脚本导入了前 1000 条记录，现在我想将接下来的 1000 条记录附加到现有数据中。怎么做？

Answer 1

您必须指定需要追加的记录的最后一个值，假设您的最后一个记录是1000，那么您的命令必须如下所示:

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 2000' 
\
-m 1 \
--incremental append \
--check-column emp_no \
--last-value 1000
--target-dir sqoop/import_data/employee_db_import_incremental