apache-spark - 如何在pycharm中运行pyspark代码时打开spark web ui?

标签 apache-spark pyspark pycharm

我在 Windows 10 机器上的本地 pycharm 中运行 pyspark 程序。我想打开 spark web ui 来监视作业并了解通过 spark web ui 显示的指标。在 jupyter 上运行相同的代码时,我可以访问 web ui,但是当我使用 pycharm 运行程序时,我看不到访问 spark web ui 的选项,即使我尝试了 url local:4040 或 localhost:4041,但这也不起作用。

最佳答案

您可以配置哪个 ui 端口 可以访问 sparksession .
Example:

spark = SparkSession.builder.master("local").\
appName("Word Count").\
config("spark.driver.bindAddress","localhost").\
config("spark.ui.port","4050").\
getOrCreate()
现在一旦 spark session 初始化,我们就可以在 http://localhost:4050/jobs/ 中访问 spark ui until the pycharm job finished executing .
如果端口当时无法访问,那么在您的日志 Spark 打印中,我们可以在哪里访问 Spark 用户界面 .
Sample log: 2020-08-17 14:39:37 WARN Utils:66 - Service 'SparkUI' could not bind on port 4050. Attempting port 4051.

关于apache-spark - 如何在pycharm中运行pyspark代码时打开spark web ui?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63456087/

相关文章:

python - 在本地主机上测试 Flask 应用程序时出现 ERR_CONNECTION_REFUSED

python - 使用Pycharm导入pandas报错

apache-spark - PySpark 特征选择和可解释性

java - Spark : Ignoring or handling DataSet select errors

apache-spark - 如何使用 KMeans 在 Spark 中对推文进行聚类?

python - 即使使用较旧的 spark 版本,也没有名为 'pyspark.streaming.kafka' 的模块

apache-spark - translate 和 regexp_replace 的区别

dataframe - 如何根据条件将一个 Spark 数据帧列拆分为两列

apache-spark - Spark SQL 安全注意事项

python - PyCharm 未在 Windows 上启动!它出什么问题了?