我是 Sqoop 的新人。根据我的理解,Sqoop命令用于将数据从MySql等数据库导入到HDF,反之亦然,HDFS命令用于处理HDFS中的数据,例如将数据从HDFS获取到本地文件系统,反之亦然。我们不能使用 sqoop 命令来处理 HDFS 中的数据吗?将数据从本地文件系统获取到 hdfs,反之亦然。请让我知道 Sqoop 和 HDFS 命令之间的确切区别。为什么我们有两个不同的东西。为什么他们不将所有这些命令放入一组。抱歉,如果我的问题没有意义。
最佳答案
Sqoop 命令有以下用途: 1)将数据从任何数据库导入/导出到hdfs/hive/hbase,反之亦然。它不仅限于 hdfs 导入和导出。 2)如果我们需要移动整个数据库/表列表,可以一次性sqooped数据。 3)通过sqoop命令只能导入增量数据。 4)还需要连接驱动程序来连接数据库 简而言之,它处理表/数据库。
hdfs命令: 1)它仅用于将任何类型(csv,text,xls)的文件从本地传输到hdfs,反之亦然。它只是提供将数据从一个系统移动或复制到另一个系统的基本功能,就像 unix 命令一样。
关于mysql - sqoop 与 hdfs 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41918810/