我有一个 MySQL Inventory 表，它没有自动增量 ID，但有复合键和最后修改日期(YYYY-mm-DD HH:MM:SS)，并且更新非常频繁。它有过去 3 年的数据大约 10万条记录。
我想通过使用 Sqoop 或其他方式将此数据移动到 HDFS。请提出一些方法。
最佳答案
根据 --lastmodified 检查下面的 sqoop 代码(我在类似任务中使用):我想在这里假设您可能有一个类似日期的列与 一起使用--check-column 参数。
sqoop import \
--connect jdbc:mysql://<server>:3306/db \
--username=your_username \
-P \
--table=your_table \
--append \
--incremental lastmodified \
--check-column creation_date \
--last-value "YYYY-mm-DD HH:MM:SS.x" \
--split-by some_numeric_id_column \
--target-dir /user/dir \
--num-mappers <MAPPER#>
关于mysql - 将具有组合键的大型且频繁更新的 MySQL 表移动到 HDFS，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55115007/