我对 Spark 很陌生，我正在尝试在 yarn 集群模式下从我的应用程序内部启动 Spark 作业(不使用 Spark-submit.sh)，并且我正在尝试弄清楚该作业如何知道在哪里Yarn ResourceManager 正在运行。 我已经做到了
SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");
但我无法配置的是 Yarn ResourceManager 的位置。关于我如何去做有什么想法吗？我有一个集群设置，其中 Yarn RM 与应用程序不在同一台计算机上运行。
最佳答案
这些属性可以在 yarn-site.xml 中找到，或者位于 HADOOP_CONF_DIR 或 YARN_CONF_DIR 环境变量中，这些变量可以设置为操作系统级别，或在 spark-env.sh 中。
在非 HA 部署中，您正在寻找 yarn.resourcemanager.address
关于java - 不使用spark-submit.sh时，Spark如何知道Yarn资源管理器在哪里运行？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43369700/