hadoop - Sqoop 导入将 TINYINT 转换为 BOOLEAN

Question

我正在尝试使用 Sqoop 将 NFL 比赛结果的 MySQL 表导入 HDFS。我发出了以下命令来实现这一点:

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/nfl \
--username <username> -P \
--table play

不幸的是，TINYINT 类型的列在导入时被转换为 bool 值。例如，有一个“quarter”列表示比赛发生在比赛的哪个季度。如果比赛发生在第一节，则此列中的值将转换为“true”，否则转换为“false”。

事实上，我做了一个 sqoop import-all-tables，导入了我拥有的整个 NFL 数据库，它的行为都是这样的。

是否有解决此问题的方法，或者可能有一些关于 import 或 import-all-tables 的参数可以防止这种情况发生？

Answer 1

在您的 JDBC 连接 URL 中添加 tinyInt1isBit=false。有点像

jdbc:mysql://127.0.0.1:3306/nfl?tinyInt1isBit=false

另一种解决方案是显式覆盖数据类型 TINYINT(1) 列的列映射。例如，如果列名是 foo，则在导入期间将以下选项传递给 Sqoop:--map-column-hive foo=tinyint。在非 Hive 导入到 HDFS 的情况下，使用 --map-column-java foo=integer。

Source