如何在不提交 jar 和定义特定 Hadoop 二进制文件的情况下为 Spark 应用程序设置 Hadoop 版本？这有可能吗？ 我只是不太确定在提交 Spark 应用程序时如何更改 Hadoop 版本。
这样的东西不起作用:
val sparkSession = SparkSession
.builder
.master("local[*]")
.appName("SparkJobHDFSApp")
.getOrCreate()
sparkSession.sparkContext.hadoopConfiguration.set("hadoop.common.configuration.version", "2.7.4")
最佳答案
这不可能。 Spark Master 和 Workers 在类路径上都有自己的 Hadoop JAR，您自己的应用程序必须与之兼容
关于scala - 更改 Spark 的 Hadoop 版本，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55868407/