hadoop - SparkContext 构造函数中的 appName 是什么,它的用途是什么?

标签 hadoop apache-spark

我是 Spark 的新手,我对 master url 旁边给出的这个 appName 有点困惑。我已经通过互联网搜索了它,但无法找到明确的答案。网上文章提到appName一旦创建就不能更改。因此,如果只有一个 sparkcontext 可用于单个 jvm,那么 appNames 的实际用途是什么……?

谁能给我解释清楚。

谢谢

最佳答案

Spark 架构有多个组件,如下所示。

  • 驱动程序:这是驱动整个应用程序的捆绑 jar 应用程序。 Driver 与 Spark Master 实例对话,将您的作业提交到集群

  • Spark Master:Master 充当驱动程序集群的单一联系点。它通过与集群管理器协商来为应用程序运行分配必要的资源。

  • Executors/workers:它们是系统中实际处理您的 Dataframes/RDD 的主力。您的分布式数据。

Spark Master 可能同时处理由多个驱动程序应用程序提交的多个作业。要在集群中运行的数百个其他应用程序中监视/跟踪您的特定应用程序,您需要一个标识符。这是 appName 有用的地方。

关于hadoop - SparkContext 构造函数中的 appName 是什么,它的用途是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41994962/

相关文章:

hadoop - 我可以索引 parquet 文件中的列以使其使用 Spark 更快地连接吗

java - 将 Spark DataFrame 转换为 Pojo 对象

json - 在 Spark 中将数据帧转换为 json 时如何打印空值

使用配置在 R 中运行 Hive 查询

hadoop - 如何将YARN应用程序日志保留在本地文件系统而不是HDFS中?

java - 在hadoop/级联中处理UTF-16LE编码的文件

sql - Spark Dataframe 嵌套 Case When 语句

scala - Spark : read csv file from s3 using scala

Hadoop心跳和 block 报告时间间隔

java - 复杂类型的缩减器中 ReadFields() 中的空缓冲区