apache-pig - 根据另一个查询的结果过滤列表

Question

我就处于这种情况。我有一个变量data，其中包含以下格式的值列表:

data:(id:int, value:float)

然后我有另一个包含一些元数据的变量:

m:(id:int, var1:int, var2:int)

我想做的是:

1. 过滤m以获取满足元数据某些条件的id列表
2. 过滤data，仅保留第一个查询的结果集中id的元组。

即像这样:

wanted_metadata = filter m by CONDITION
wanted_ids = foreach wanted_metadata generate id
wanted_data = filter data by id IS INCLUDED IN wanted_ids

目前，我设法使用 JOIN 运算符来做到这一点，但我更愿意使用一些“成员资格检查”运算符。

你能帮我吗？

Answer 1

如果您的数据足够小，可以放入 RAM，则使用 replicated join ，这是映射端连接，它作为成员资格检查来实现。