我有一个使用Ambari的hadoop群集设置,该主机具有在主机上运行的HDFS,YARN,spark之类的服务。
当我在群集模式下作为主 yarn 运行样本spark pi时,该应用程序将成功执行,并且可以从资源管理器日志中查看相同内容。
但是,当我单击历史记录链接时,它不会显示 Spark 历史记录UI。如何启用/查看相同内容?
最佳答案
首先,通过在spark-defaults.conf文件中查找spark.yarn.historyServer.address
来检查您的spark-history服务器是否已配置。
如果未配置,则此链接应可帮助您配置服务器:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html
如果已配置,请检查历史服务器主机是否可从群集中的所有节点访问,并且端口是否已打开。
关于hadoop - Spark History用户界面不起作用| Ambari |纱,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41627985/