我想在完成后通过 Web UI 检查 Spark 应用程序。所以我设置了spark.eventLog.enabled为真，然后设置 spark.eventLog.dir到本地目录。然后当我点击完成的应用程序名称时，它会显示应用程序的详细信息。但是当我重置操作系统并再次运行 Spark 时，它不会向我显示完成的应用程序。我查看了 spark.eventLog.dir目录并看到已完成应用程序的详细信息在那里，但我不知道如何再次使用此文件夹在 Web UI 中查看它？
最佳答案
重新启动 Spark 会清除已完成的应用程序列表，Spark 仅将它们保留在内存中。
当你想检查旧的应用程序时，你必须从 /path/to/spark/sbin/start-history-server.sh /path/to/event-log 启动历史服务器。 .
更多信息在这里:https://spark.apache.org/docs/latest/monitoring.html
关于apache-spark - 重新启动 Spark 后如何在 Web UI 中查看 'finished App' 详细信息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29969462/