sql - Apache Drill 使用 IN() 运算符查询 mongo 数组字段类型

Question

采用以下文档结构作为示例，我需要在钻取中执行 SELECT ... WHERE 字段 IN(值)。

{   "CD_MATRICULA" : 12,
    "USUARIO" : {
        "ID_SITUACAO" : 1,
        "PUBLICOALVO" : [ 84,85,86,87,88,89 ]
    }
},
{   "CD_MATRICULA" : 14,
    "USUARIO" : {
        "ID_SITUACAO" : 1,
        "PUBLICOALVO" : [ 90,91,92,93,94 ]
    }
},
{   "CD_MATRICULA" : 122,
    "USUARIO" : {
        "ID_SITUACAO" : 0,
        "PUBLICOALVO" : [ 20,300,400,500,600 ]
    }
}

要按 USUARIO.PUBLICOALVO 值查找文档，我可以使用以下 mongo 查询:

db.getCollection('xxx').find({'USUARIO.PUBLICOALVO': {$in: [ 84, 85, 90, 94, 500 ]}})

它工作正常，通过 IN() 列表比较返回所有文档。

但是，当我尝试在 DRILL 的 SQL 中执行相同的 mongo 查询时，我这样做:

SELECT * FROM xxx WHERE xxx.USUARIO.PUBLICOALVO IN(84, 85, 90, 94, 500);

但是此查询失败，并显示消息:

Error in expression at index -1.  Error: Missing function implementation: [equal(INT-REPEATED, INT-REQUIRED)].  Full expression: --UNKNOWN EXPRESSION--.

我如何在drill sql语法中编写过滤器IN()之王？

非常感谢

Answer 1

Apache Drill 的 Mongo 存储插件不支持 IN 运算符。

original documentation for Apache Drill's Mongo storage plugin声明:

As of now, predicate pushdown is implemented for the following filters: >, >=, <, <=, ==, !=, isNull and isNotNull.

查看latest version of the code情况仍然如此:

switch (functionName) {
    case "equal":
      compareOp = MongoCompareOp.EQUAL;
      break;
    case "not_equal":
      compareOp = MongoCompareOp.NOT_EQUAL;
      break;
    case "greater_than_or_equal_to":
      compareOp = MongoCompareOp.GREATER_OR_EQUAL;
      break;
    case "greater_than":
      compareOp = MongoCompareOp.GREATER;
      break;
    case "less_than_or_equal_to":
      compareOp = MongoCompareOp.LESS_OR_EQUAL;
      break;
    case "less_than":
      compareOp = MongoCompareOp.LESS;
      break;
    case "isnull":
    case "isNull":
    case "is null":
      compareOp = MongoCompareOp.IFNULL;
      break;
    case "isnotnull":
    case "isNotNull":
    case "is not null":
      compareOp = MongoCompareOp.IFNOTNULL;
      break;
}

FWIW、IN 并不是唯一不受支持的运算符；尽管有 open issue ，但尚不支持 LIKE 运算符反对 Drill Mongo 存储插件。

所以你可以...

• 自行实现 IN 运算符。 this issue 附有一个补丁这可能会为如何实现 IN 运算符提供一些指导
• 针对 Drill project 提出问题指定 Component=Storage - MongoDB
• 将您的 IN 实现为一系列 ORed 等于，例如而不是 WHERE xxx.USUARIO.PUBLICOALVO IN (84, 85, 90, 94, 500) 您可以尝试 WHERE xxx.USUARIO.PUBLICOALVO = 84 OR xxx.USUARIO.PUBLICOALVO=85 。 ..