我是 Apache Spark 新手。目前在IntelliJ IDEA 14上使用,maven项目方法。由于
,我的程序停止后无法访问 Spark UI 15/10/22 23:28:27 INFO SparkUI: Stopped Spark web UI at http://192.168.1.88:4041
SparkUI 停止得太快,我无法查看我的程序做了什么。有什么方法可以在特定程序停止后查看 SparkUI 吗?或者我可以找到运行程序后创建的某种日志吗?
将“spark.eventLog.enabled”设置为true并将“spark.eventLog.dir”设置为本地文件夹后,我能够生成Unix可执行文件(local-1445955378567)。然而,日志的细节并不是我所期望的。如何添加 SparkListener?
最佳答案
您需要保持 ui 处于事件状态(通过保持上下文处于事件状态)或启动历史服务器,因为 ui 与上下文相关联。 http://spark.apache.org/docs/latest/monitoring.html
关于maven - 本地模式下的 Apache SparkUI,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33285314/