hadoop - SQOOP 从 RDBMS 转移到 Hadoop 的速度有多快？

Question

谁能告诉我，SQOOP 一次传输 20 亿条记录的速度有多快。而且我知道它一定很快，因为 sqoop 并行运行，其中一些输入将在 Hadoop 上产生一些文件输出。但我想知道MapReduce一次传输20亿条记录的速度详情。

Answer 1

您需要了解负责将数据从 RDBMS 更快地传输到 Hadoop 的要点。

• 映射器数量:

  增加映射器的数量会提高您的速度，因为它将任务分成几部分并并行执行导入。

• 映射器上的平衡负载:

  您需要在统一的列上拆分(最好是整数)。它将为所有映射器提供均衡负载，并且传输速度更快。

• 来自 RDBMS 的连接数:

  您不能只是盲目地增加映射器的数量(例如 100 个或更多)。您的 RDBMS 应该允许这些并发连接，否则它将成为 RDBMS 端的瓶颈。

• 使用--直接模式:

  如果 sqoop 为特定的 RDBMS 提供了直接连接器，您应该使用它。这将使传输更快。

---

简而言之，sqoop 的速度足以传输数十亿条记录，只需在编写导入命令时牢记这些要点即可。