java - 尝试启动 ZetaSQL 规划器时出错

Question

我正在尝试运行带有 SQL 转换的 Beam 管道，并使用 ZetaSQL 进行解析。我从设置选项开始

options.setPlannerName("org.apache.beam.sdk.extensions.sql.zetasql.ZetaSQLQueryPlanner");

当我尝试使用任何给定查询创建 SqlTransform 时，我得到

java.util.ServiceConfigurationError: org.apache.beam.repackaged.sql.com.google.zetasql.ClientChannelProvider: Provider org.apache.beam.repackaged.sql.com.google.zetasql.JniChannelProvider could not be instantiated
    at java.util.ServiceLoader.fail (ServiceLoader.java:232)
    at java.util.ServiceLoader.access$100 (ServiceLoader.java:185)
    at java.util.ServiceLoader$LazyIterator.nextService (ServiceLoader.java:384)
    at java.util.ServiceLoader$LazyIterator.next (ServiceLoader.java:404)
    at java.util.ServiceLoader$1.next (ServiceLoader.java:480)
    at org.apache.beam.repackaged.sql.com.google.zetasql.ClientChannelProvider.loadChannel (ClientChannelProvider.java:31)
...
    at org.apache.beam.sdk.extensions.sql.SqlTransform.expand (SqlTransform.java:82)
    at org.apache.beam.sdk.Pipeline.applyInternal (Pipeline.java:539)
    at org.apache.beam.sdk.Pipeline.applyTransform (Pipeline.java:473)
    at org.apache.beam.sdk.values.PCollection.apply (PCollection.java:357)
...

我已将以下相关依赖项添加到 maven 中的 POM 中:

        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
            <version>2.15.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-sdks-java-extensions-sql</artifactId>
            <version>2.16.0</version>
        </dependency>

我还缺少其他东西吗？

Answer 1

不幸的是，ZetaSQL 规划器目前无法在 MAC 或旧版本的 Linux 上运行。请参阅 Rui 的评论:

ZetaSQL Sample Using Apache beam

看起来这个 PR 在这里可能有用(我还没有深入研究这一点来确认):

https://github.com/google/zetasql/pull/3

作为解决方法，您可以尝试使用较新版本的 Linux 吗？也许在容器中？