我们使用spark 2.4.0连接到Hadoop 2.7集群并从Hive Metastore 2.3版本进行查询。但集群管理团队已决定升级到 Hadoop 3.x 和 Hive 3.x。我们还无法迁移到与 Hadoop 3 和 Hive 3 兼容的 Spark 3，因为我们无法测试是否有任何问题。
是否有可能坚持使用 Spark 2.4.x 版本并仍然能够使用 Hadoop 3 和 Hive 3？
我知道向后移植是一种选择，如果您能指出我的方向，那就太好了。
最佳答案
您可以使用 Hadoop 3.1 profile 编译 Spark 2.4而不是依赖默认版本。您需要使用 hadoop-3.1 配置文件作为 described in documentation关于构建 Spark，类似于:
./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package
关于apache-spark - 是否可以通过spark 2.4使用Hadoop 3.x和Hive 3.x？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62754172/