hadoop - 使用 Apache PIG 创建空表

Question

是否可以在 Apache Pig 中创建一个空表？

给定表名、列名和列类型，很容易在 Apache Hive 中进行相同的操作:

CREATE TABLE employees(name string, id int)
STORED AS ORC;

Answer 1

您可以做的是在您的项目中创建一个空文件夹，并将其与您的 PigStorage 加载程序结合使用。

例如:

使用 PigStorage 从工作流变量 data 中读取数据: rel = LOAD '$data' 使用 PigStorage('\t');

当 data 指向包含数据的文件时，您将获得一个非空关系。但是，如果您指向一个空文件夹(真的是空的，也没有架构)，您会发现没有代码中断，您最终会得到一个与非空文件夹具有相同架构的空关系。

这意味着您可以运行 FOREACH、FILTER、JOIN 等。而不会破坏您的 Pig 代码，所有这些都是空洞的。