我在 hadoop 中有很多数据，我需要将其复制到 msql 数据库中。
在 hive 中选择我需要的列(几乎是所有列)并使用 INSERT OVERWRITE 写入结果会更有效，还是使用 copyToLocal< 会更好 shell命令复制文件并手动转换数据？
最佳答案
如果你的数据在 hadoop 中，你可以使用 Sqoop 将它移动到 MYSQL DB 中。直接使用 SQOOP 将是高效的，然后再添加一个额外的 HIVE 层。获取 MYSQL 连接器，您可以尝试如下操作，让我知道需要更多帮助。
bin/sqoop export --connect jdbc:mysql:///--table -username -P --export-dir -m1
关于Hadoop - 获取数据的最有效方式，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23096271/