我安装了 hadoop 3.3.1 版和 sqoop 1.4.7,它们似乎不兼容,在导入 rdbms 表时出现贬值的 API 实现错误。
当我尝试用 google 搜索兼容版本时,我发现 apache sqoop 已移至 appache attiq 。并且版本 1.4.7(最后一个稳定版本)在其文档中指出“Sqoop 目前支持 4 个主要 Hadoop 版本 - 0.20、0.23 、1.0 和 2.0。”
请您解释一下这是什么意思以及我应该做什么。 您能否建议 SQOOP 的替代方案是什么?
最佳答案
这就是 board minutes 的意思说:Sqoop 已变得不活跃,现在已移至 Apache Attic。这并不意味着 Sqoop 已被弃用,取而代之的是其他一些项目,但出于实际目的,您可能不应该使用它构建新的实现。
其他工具(包括其他 Apache 项目)中也提供了许多相同的功能。可能的选项有 Spark、Kafka、Flume。使用哪一个很大程度上取决于您的用例的具体情况,因为这些都不能与 Sqoop 完全满足相同的需求。 Spark 的数据库连接功能使其成为最灵活的解决方案,但它的设置也可能是最耗费人力的。 Kafka 可能会工作,尽管它不像 Sqoop 那么特别友好(看看 Kafka Connect)。我可能不会使用 Flume,但它可能值得一看(它主要用于传输日志)。
关于hadoop - Apache Sqoop 于 2021 年 6 月搬进阁楼,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71108443/