hadoop - 更改 pig latin 中列的数据类型

Question

我和 pig 拉丁语有关系。有很多列，所以我不想在加载关系时指定数据类型。有没有办法在事后改变它？

batters = LOAD 'hdfs:/home/ubuntu/pigtest/Batting.csv' using PigStorage(',');
filtered_batters = FOREACH batters2 GENERATE $0 as id, $5 as bats;
describe filtered_batters;
filtered_batters: {id: bytearray, bats: bytearray}

我问的原因是因为我试图按 id 分组并对 bats 列求和，但出现错误。我的想法是数据类型不适合求和。现在它是一个 bytearray，我认为它需要是一个 int 以便我对其求和请告诉我这是否正确，如果正确，如何执行上述操作。

谢谢

Answer 1

参见 CAST运算符。如果您未在 LOAD 语句中指定数据类型，Pig 将使用默认字节数组作为字段的数据类型。

filtered_batters = FOREACH batters2 GENERATE (int)$0 as id, (int)$5 as bats;

或

filtered_batters = FOREACH batters2 GENERATE $0 as id:int, $5 as bats:int;