apache-spark - 使用 SparkLauncher 以编程方式向 dse Spark 集群提交 Spark 作业

Question

我对 Spark 和 DSE 比较陌生，我正在尝试以编程方式向 DSE Spark 集群提交 Spark 作业？

我正在使用 org.apache.spark.launcher.SparkLauncher API。我尝试遵循 SparkLauncher 的文档。

Process launcher = new SparkLauncher().setAppName("appName")
                    .setAppResource("spark-job.jar")
                    .setSparkHome("spark-home")
                    .setMainClass("main-class")
                    .setVerbose(true).launch();
launcher.waitFor();

但它似乎没有在 dse 集群上启动该作业。我可以使用以下命令手动触发作业:dse spark-submit 命令

非常感谢这里的任何帮助。谢谢!

Answer 1

我相信这与没有设置你的sparkHOME有关。在 DSE 中识别您的 Spark Home，然后添加

.setSparkHome("sparkHomeDir")

你宁愿使用 SparkHandle 而不是阻塞等待。

SparkAppHandle handle = launcher.startApplication();