我使用sc.hadoopConfiguration.set来设置配置。
如何转储这些配置？在控制台上打印它们或将它们转储到文件
最佳答案
您可以将 hadoop 配置转储到 xml 文件(我假设您使用的是 Scala)
val out = new FileOutputStream("conf.xml")
sc.hadoopConfiguration.writeXml(out)
关于hadoop - 在 Spark 中转储 hadoop 配置，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41160714/