我在 Windows 10 机器上的本地 pycharm 中运行 pyspark 程序。我想打开 spark web ui 来监视作业并了解通过 spark web ui 显示的指标。在 jupyter 上运行相同的代码时,我可以访问 web ui,但是当我使用 pycharm 运行程序时,我看不到访问 spark web ui 的选项,即使我尝试了 url local:4040 或 localhost:4041,但这也不起作用。
最佳答案
您可以配置哪个 ui 端口 可以访问 sparksession .
Example:
spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
现在一旦 spark session 初始化,我们就可以在 http://localhost:4050/jobs/
中访问 spark ui until the pycharm job finished executing
.如果端口当时无法访问,那么在您的日志 Spark 打印中,我们可以在哪里访问 Spark 用户界面 .
Sample log:
2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.
关于apache-spark - 如何在pycharm中运行pyspark代码时打开spark web ui?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63456087/