apache-spark - Yarn 的 "Application Type"在哪里/如何定义?

标签 apache-spark hadoop hadoop-yarn

如果向 Apache YARN 集群提交新作业,状态页面通常会指示作业实际是如何提交的(除其他事项外): enter image description here

Application Type: SPARK

这表明用户很可能使用 spark-submit 向资源管理器发布了一个新作业。

是否可以像更改应用程序名称一样通过参数更改该字符串的值?

最佳答案

应用类型在 Spark 设置 yarn 应用上下文时设置。

AFAIK,无法更改某些配置的方式。如果它真的很重要,您将不得不在源代码中覆盖它。

下面的实现, https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241

关于apache-spark - Yarn 的 "Application Type"在哪里/如何定义?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52233616/

相关文章:

scala - 添加包含按 df 分组的列数 og 的列

apache-spark - 用于高效加入 Spark 数据帧/数据集的分区数据

scala - Spark 对 RDD 中按值排序

java - 无法在 ambari 中重启 yarn 节点管理器

apache-spark - 如何在 Spark-YARN 上设置每个任务的最大允许执行时间?

apache-spark - EMR 中的 yarn 容器、Spark 执行器和可用节点之间有什么关系?

java - 用 Java 将 DataFrame 写入 Cassandra 表

hadoop - 插入数据时配置单元语义异常

numpy - 亚马逊 EC2 与 PiCloud

hadoop - Hadoop 中 reducer 级别的复制?