hadoop - Apache Sqoop 于 2021 年 6 月搬进阁楼

标签 hadoop rdbms sqoop

我安装了 hadoop 3.3.1 版和 sqoop 1.4.7,它们似乎不兼容,在导入 rdbms 表时出现贬值的 API 实现错误。

当我尝试用 google 搜索兼容版本时,我发现 apache sqoop 已移至 appache attiq 。并且版本 1.4.7(最后一个稳定版本)在其文档中指出“Sqoop 目前支持 4 个主要 Hadoop 版本 - 0.20、0.23 、1.0 和 2.0。”

请您解释一下这是什么意思以及我应该做什么。 您能否建议 SQOOP 的替代方案是什么?

最佳答案

这就是 board minutes 的意思说:Sqoop 已变得不活跃,现在已移至 Apache Attic。这并不意味着 Sqoop 已被弃用,取而代之的是其他一些项目,但出于实际目的,您可能不应该使用它构建新的实现。

其他工具(包括其他 Apache 项目)中也提供了许多相同的功能。可能的选项有 Spark、Kafka、Flume。使用哪一个很大程度上取决于您的用例的具体情况,因为这些都不能与 Sqoop 完全满足相同的需求。 Spark 的数据库连接功能使其成为最灵活的解决方案,但它的设置也可能是最耗费人力的。 Kafka 可能会工作,尽管它不像 Sqoop 那么特别友好(看看 Kafka Connect)。我可能不会使用 Flume,但它可能值得一看(它主要用于传输日志)。

关于hadoop - Apache Sqoop 于 2021 年 6 月搬进阁楼,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71108443/

相关文章:

hadoop - Hadoop中的分布式文件处理?

java - 如何从Java将级联作业提交到远程YARN群集?

sql-server - Sqoop import-all-tables 命令的问题

mysql - sqoop 1.99.5 安装错误 - 无法访问 mysql 5.6 的 JDBC 连接器(在 Ubuntu 节点上运行的 hadoop 2.4.1 集群)

hadoop - 如何安全更新配置单元外部表

hadoop - 在 docker swarm 外部访问 hdfs

mysql - 为什么这个必须在指定时间范围内选择记录的 WHERE 条件没有按预期工作?

Hadoop 和关系型数据库管理系统

sql - Windows 上的良好测试数据库可以在 SQL 中进行数据检索操作吗?

mysql - Sqoop无法从MYSQL导入数据到HBASE