java - 如何在 Java 中检索唯一的 Spark 作业 ID?

标签 java apache-spark

我已经看过this post 。但我似乎无法在 JavaSparkContext 上找到 applicationid 。

实际上我需要的是一个标识应用程序的唯一ID。我可以生成 uuid 并将其设置为应用程序名称。有更好的办法吗?

最佳答案

试试这个:-

JavaSC.env().conf().getAppId(); 

ctxt.getConf().getAppId()

关于java - 如何在 Java 中检索唯一的 Spark 作业 ID?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37444220/

相关文章:

java - 如何在 Future 对象中有效使用 isDone()

Java GUI 缩放问题

java - 通过java代码运行java程序

java - 用于布局布线的模拟退火

networking - Spark SPARK_PUBLIC_DNS 和 SPARK_LOCAL_IP 在带有 docker 容器的独立集群上

java - 64 位 java 1.7 是否忽略最小堆大小标志?

hadoop - 我可以在Spark中创建序列文件吗?

python - 如何在 PySpark 中分别对多个列进行透视

scala - Spark 2逻辑回归删除阈值

java - 运行 apache spark 作业时任务不可序列化异常