mysql - --direct 模式如何在 sqoop 中工作?

标签 mysql hadoop hdfs sqoop sqoop2

sqoop使用表主键或--split-by <columns>从 RDBMS 转移到 HDFS,我认为映射器的默认数量是四个。然而,通过 --direct不使用映射器,传输速度会更快。我的问题是,如果没有使用映射器,那么 Sqoop 如何处理 Hadoop 框架中的传输?

最佳答案

根据 sqoop docs ,

MySQL Direct Connector allows faster import and export to/from MySQL using mysqldump and mysqlimport tools functionality instead of SQL selects and inserts.

通常,它比通过 JDBC 使用多个映射器运行范围查询更快。

关于mysql - --direct 模式如何在 sqoop 中工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44814752/

相关文章:

java - 使用 Java 对 FTP 文件进行校验和

hadoop - 无法创建目录/home/hadoop/hadoopinfra/hdfs/namenode/current

php - 一个循环访问两个不同的表

mysql - 在服务器之间手动复制 Orbeon 表单

php - 每条记录都有自己的表头

hadoop - 为什么Elephantbird Pig JsonLoader仅处理文件的一部分?

hadoop - 使用 NiFi 处理器将 facebook 数据提取到 hadoop 中的过程

mysql - 带有 MySQL 查询的 Node.js

hadoop - 从服务器删除Cloudera Manager

java - Hadoop map-reducer 没有写入任何输出