据我了解，sqoop 用于将表/数据从数据库导入或导出到 HDFS、Hive 或 HBASE。
我们可以直接导入单个表或表列表。内部 mapreduce 程序(我认为只有 map 任务)将运行。
我的疑问是什么是 sqoop direct 以及什么时候使用 sqoop direct 选项？
最佳答案
只需阅读 Sqoop 文档即可!
Some databases can perform imports in a more high-performance fashion by using database-specific data movement tools (...)
Some databases provides a direct mode for exports as well (...)
Details about use of direct mode with each specific RDBMS, installation requirements, available options and limitations can be found in Section 25
- 第 25 节 MySQL
- 第 25 节 Oracle data connector for Hadoop
- 等等
底线:“直接模式”意味着不同数据库的不同事物。
对于 MySQL 或 PostgreSQL，它涉及批量加载器/卸载器实用程序(即完全绕过 JDBC)；而对于 Oracle，它与“直接路径插入”相关，即与 JDBC 相关，但处于非事务模式(因此您最好使用临时表，否则您可能会在 PK 和损坏的表中得到重复项) .
关于hadoop - 什么是 sqoop 中的 --direct 模式？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39150465/