我正在运行一个 Spark Streaming 作业，当我为我的 Spark Streaming 作业设置应用程序名称(一个更易读的字符串)时，它没有出现在 Hadoop 运行应用程序 UI 中。我总是看到类名作为 Hadoop UI 中的名称
val sparkConf = new SparkConf().setAppName("BetterName")
如何在 Spark 中设置作业名称，使其出现在这个 Hadoop UI 中？
运行应用程序的 Hadoop URL 是 - http://localhost:8088/cluster/apps/RUNNING
[更新] 看起来这只是 Spark Streaming 作业的问题，但找不到解决方法。
最佳答案
当通过 spark-submit 提交作业时，创建的 SparkContext 无法设置应用程序的名称，因为 YARN 在 Spark 之前已经为作业配置好了。要在 Hadoop 运行作业 UI 中显示应用程序名称，您必须在命令行中为 spark-submit“--name BetterName”设置它。我使用调用 spark-submit 的 shell 脚本开始我的工作，因此将名称添加到我的 shell 脚本中的命令。
关于hadoop - Spark setAppName 未出现在 Hadoop 运行应用程序 UI 中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33378921/