我通过(基本支持计划)使用 AWS。我想知道 AWS 粘合作业中使用了哪个版本的 Spark 和 Hadoop (HDFS)。这样我就可以在我的本地机器上设置相同的环境进行开发。
或者，如果我了解了 Spark 的版本，那么对应 AWS 胶水作业使用的是哪个 Hadoop 版本，反之亦然。
因为我使用的是基本支持计划。所以，我无法向支持中心提出案例。 知道在哪里可以检查 AWS 胶水作业...Spark 和 Hadoop 版本吗？
感谢任何形式的帮助和建议。谢谢!
最佳答案
如果您使用的是 Spark > 2.0，则
1.在 Pyspark 中:
获取 Spark 版本:
print("Spark Version:" + spark.version)
在 spark < 2.0 中:
sc.version
获取 Hadoop 版本:
print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())
2.在 Scala 中:
Spark 版本:
println ("Spark Version:" + spark.version)
在 spark < 2.0 中:
sc.version
Hadoop 版本:
println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())
关于amazon-web-services - 如何在 AWS glue 中检查 Spark 和 Hadoop 的版本？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56620493/