hadoop - sqoop支持通过 hive 进行动态分区吗?

标签 hadoop hive sqoop bigdata

sqoop支持通过 hive 进行动态分区吗?
我尝试使用以下提到的选项:
--hive-partition-key和--hive = partition-vlaue仅用于静态分区

例如:
sqoop导入
--connect“jdbc:mysql://quickstart.cloudera:3306 / prac”
--username root-密码cloudera
--hive-import
--query“从城市='孟买'和\ $ CONDITIONS的学生中选择ID,名称,ts
--hive-partition-关键城市
--hive-partition-value'孟买'
--hive-table实践
--target-dir / user / mangesh / sqoop_import / student_temp5
-分割ID

最佳答案

您可以使用hcatalog导入-您需要sqoop 1.4.4来执行此操作。

sqoop import \
  --connect "jdbc:oracle:SERVERDETAILS" \
  --username <User Name>\
  --password <Password> \
  --table <Databse.Tablename> \
  --fields-terminated-by ',' \
  --split-by <Column Name> \
 --hcatalog-database <Hive DatabseName>
--hcatalog-table <Hive Table Name>


有关更多详细信息,请通过

http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.html#_sqoop_hcatalog_integration

关于hadoop - sqoop支持通过 hive 进行动态分区吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46263147/

相关文章:

java - 如何合并hadoop日志?

hadoop - 数据格式和数据库选择 Spark/hadoop

mysql - 使用 Hive 连接

apache-spark - pyspark.sql无法实例化HiveMetaStoreClient-从org.apache.commons.dbcp.connectionfactory中找到noclass

hadoop - 使用SQOOP将数据从HDFS复制到配置单元

date - Oozie 协调员开始日期设置为实际日期

hadoop - 处理 PIG 脚本中的 fs(hadoop shell)命令错误

sql - UNION ALL 不会在 Hive 中生成任何数据

hadoop - HiveQL查询性能优化

sql - sqoop如何在将数据导入到hive时自动从db2中修剪一些字符类型列?