apache-spark - 关于 HIVE_STATS_JDBC_TIMEOUT 的任何更新以及如何在源代码级别跳过它

当我尝试对 Hive 使用 Spark-Sql 时，抛出如下错误。

Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
        at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)

根据 SO 线程 hive-stats-jdbc-timeout-for-hive-queries-in-spark和 spark-on-hive-sql-query-error-nosuchfielderror-hive-stats-jdbc-timeout , 当你使用特定版本的 Spark 和 Hive 时会出现此问题，实际上，如果你想使用最新版本的 spark 像 2.4.3 和最新的 Hive 像 3.1.1 ，它不能跳过。

我们可以查看此社区主题以了解详细信息，https://issues.apache.org/jira/browse/SPARK-13446 , 自 2019 年 2 月以来没有更新。

所以你知道关于这个问题的任何更新吗？如果我们想在源代码级别自己跳过它，关于如何制作它的任何线索？

提前感谢您的帮助。

最佳答案

只有 Spark 3.0.0(尚未发布)才能支持使用 Hive 3.1.1。
吉拉 - https://jira.apache.org/jira/browse/SPARK-24360

关于apache-spark - 关于 HIVE_STATS_JDBC_TIMEOUT 的任何更新以及如何在源代码级别跳过它，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57282164/