hadoop - 当 spark 处于本地模式时,是否有任何守护进程运行?

标签 hadoop apache-spark daemon bigdata

当我们在本地模式下运行 Spark [通过设置 -Dspark.master=local[n] ] 时,这意味着将运行 N 个线程来完成作业。

但是它会在本地 jvm 中启动任何守护进程(驱动程序或执行程序)吗?

最佳答案

在本地模式下,它启动单个 JVM 进程,其中包括单个驱动程序(每个 spark 应用程序始终有一个驱动程序)和只有一个执行程序并置在驱动程序的 JVM 进程中

关于hadoop - 当 spark 处于本地模式时,是否有任何守护进程运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34701350/

相关文章:

java - MapReduce 新 API Job.getInstance(Configuration, String) 的 Jar 文件

java - Hadoop排序阶段需要几个小时

r - 如何将 SparkR 数据框中的整数列转换为字符串?

python - HDFS(WebHDFS)输入/创建失败-getaddrinfo失败

scala - 如何在连接中选择数据框的所有列 - Spark-scala

scala - Spark 独立: how to avoid sbt assembly and uber-jar?

apache-spark - 在 spark 中创建带有架构的 hive 外部表

azure - 如何使用 Azure PowerShell SDK 将所需的权限添加到 Azure Active Directory (AAD) 应用程序?

在 linux 中创建一个守护进程

java - 将 JAR 作为服务运行时未显示日志