尝试使用Sqoop将Parquet格式的数据导入S3时，如下:
bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile
...我收到以下错误:
ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000
我在导入非 parquet 数据或直接通过 HDFS 使用 s3a 时没有问题。好像 this issue , 但据称它在许多版本前已修复。
最佳答案
Sqoop 导入 parquet 格式目前不支持 s3 作为目标目录，解决方法是将数据导入 hdfs，然后使用 distcp 将 hdfs 复制到 s3
关于hadoop - Sqoop + S3 + Parquet 导致 Wrong FS 错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33223110/