mysql - sqoop 与 hdfs 命令

标签 mysql hadoop hdfs sqoop

我是 Sqoop 的新人。根据我的理解,Sqoop命令用于将数据从MySql等数据库导入到HDF,反之亦然,HDFS命令用于处理HDFS中的数据,例如将数据从HDFS获取到本地文件系统,反之亦然。我们不能使用 sqoop 命令来处理 HDFS 中的数据吗?将数据从本地文件系统获取到 hdfs,反之亦然。请让我知道 Sqoop 和 HDFS 命令之间的确切区别。为什么我们有两个不同的东西。为什么他们不将所有这些命令放入一组。抱歉,如果我的问题没有意义。

最佳答案

Sqoop 命令有以下用途: 1)将数据从任何数据库导入/导出到hdfs/hive/hbase,反之亦然。它不仅限于 hdfs 导入和导出。 2)如果我们需要移动整个数据库/表列表,可以一次性sqooped数据。 3)通过sqoop命令只能导入增量数据。 4)还需要连接驱动程序来连接数据库 简而言之,它处理表/数据库。

hdfs命令: 1)它仅用于将任何类型(csv,text,xls)的文件从本地传输到hdfs,反之亦然。它只是提供将数据从一个系统移动或复制到另一个系统的基本功能,就像 unix 命令一样。

关于mysql - sqoop 与 hdfs 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41918810/

相关文章:

php - 无法将两个 sql 查询合并为一个

PHP 从一个 mysql 行的列中创建一个多维数组?

mysql - 加入两个表匹配多个 ID 的名称

hadoop - 是否可以在没有 Ambari 的情况下设置单节点 HDP?

hadoop - HDFS 和小文件 - 第 2 部分

hadoop - HDFS 行为 : Datanodes up but all data goes to one node (using -copyFromLocal)

mysql - 如何将数据插入中间表,这可以在单个 mysql 查询中完成吗?

hadoop - Apache Kafka 是否将消息内部存储在 HDFS 或其他文件系统中

hadoop - 需要一种方法来过滤 HIVE 中某个 id 具有多个记录的记录的数据

java - "cannot execute binary file: Exec format error"hdfs命令