maven - 本地模式下的 Apache SparkUI

标签 maven intellij-idea apache-spark

我是 Apache Spark 新手。目前在IntelliJ IDEA 14上使用,maven项目方法。由于

,我的程序停止后无法访问 Spark UI
 15/10/22 23:28:27 INFO SparkUI: Stopped Spark web UI at http://192.168.1.88:4041

SparkUI 停止得太快,我无法查看我的程序做了什么。有什么方法可以在特定程序停止后查看 SparkUI 吗?或者我可以找到运行程序后创建的某种日志吗?

将“spark.eventLog.enabled”设置为true并将“spark.eventLog.dir”设置为本地文件夹后,我能够生成Unix可执行文件(local-1445955378567)。然而,日志的细节并不是我所期望的。如何添加 SparkListener?

Output of unix executable"local-1445955378567"

最佳答案

您需要保持 ui 处于事件状态(通过保持上下文处于事件状态)或启动历史服务器,因为 ui 与上下文相关联。 http://spark.apache.org/docs/latest/monitoring.html

关于maven - 本地模式下的 Apache SparkUI,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33285314/

相关文章:

scala - 传递具有任何案例类返回类型的函数作为参数

python - PySpark 代码是在 JVM 还是 Python 子进程中运行?

java - 找不到 MessageSource 的 ResourceBundle

intellij-idea - Intellij 运行快捷方式 (mac)

maven - IntelliJ maven 生命周期 - 我可以修改 "Basic Tasks Only"列表吗?

java - Eclipse/Idea忽略了Maven Java版本配置

java - IntelliJ IDEA中如何通过大写字母(Ctrl+Backspace)分别删除关键字

java - 无法运行星火

java - 带有 Maven 测试的 GitHub CI 未运行任何测试

java - 即使添加 jaxb-core、jaxb-api、jaxb-impl 依赖项后,Maven 插件也会失败,并缺少类 javax/xml/bind/JAXBException