hadoop - Spark History用户界面不起作用| Ambari |纱

标签 hadoop apache-spark yarn ambari

我有一个使用Ambari的hadoop群集设置,该主机具有在主机上运行的HDFS,YARN,spark之类的服务。
当我在群集模式下作为主 yarn 运行样本spark pi时,该应用程序将成功执行,并且可以从资源管理器日志中查看相同内容。
enter image description here

但是,当我单击历史记录链接时,它不会显示 Spark 历史记录UI。如何启用/查看相同内容?

最佳答案

首先,通过在spark-defaults.conf文件中查找spark.yarn.historyServer.address来检查您的spark-history服务器是否已配置。

如果未配置,则此链接应可帮助您配置服务器:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html

如果已配置,请检查历史服务器主机是否可从群集中的所有节点访问,并且端口是否已打开。

关于hadoop - Spark History用户界面不起作用| Ambari |纱,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41627985/

相关文章:

scala - 是否可以使用 Apache Spark RDD 进行递归计算?

shell - 如何使用作业名称从YARN日志中获取用于已完成hadoop作业的资源?

hadoop - yarn 公平调度程序无法平均分配资源

hadoop - 如何在 Hue v3.7 中导出 Oozie 协调器?

hadoop - HDFS 中的文件数与 block 数

hadoop - HBase master 未运行异常

hadoop - 启用 Kerberos 后无法访问 Hadoop CLI

scala - 如何使用相同的案例类创建多个数据框

hadoop - 使用HDFS代替spark.local.dir

hadoop - 生成数千张 map 的 pig 脚本