hadoop - 使用查询的 Sqoop 导出

Question

我们正在尝试将数据从 HIVE 表导出到 HANA，能够使用 Sqoop 导出命令中的 --hcatalog 表选项导出数据。

但是在尝试使用带有 where 子句的查询选项加载数据时遇到问题

是否可以在sqoop export命令中使用query选项？

我的示例 scoop 命令如下所示

sqoop export -D sqoop.export.records.per.statement=1 -D mapreduce.map.memory.mb=16384 -D mapreduce.map.java.opts=-Xmx16384m  --connect "jdbc:xxxxxx" --driver "com.sap.db.jdbc.Driver" --username "xxxxx" --password "xxxxxx" --table "hanaschema.table1" --query "select field1,substr(field2,1),field3,field4,from "hadoopschema.table" where field1 = 2017 and field3 = 4" --input-null-string '\\N' --input-null-non-string '\\N' --num-mappers 20 –-validate

感谢您的帮助..

谢谢 斯里尼

Answer 1

不幸的是，Sqoop Export 尚不支持 --query 参数。我们只能将其与 Sqoop 导入命令一起使用。

请引用Export control arguments有关 Sqoop 导出中可用选项的详细信息的部分。

或者将查询的输出复制到另一个表中，然后将该表导出到 HANA 中。