apache-spark - 如何更改Spark ui端口?

标签 apache-spark

我已经在群集上安装了spark,并且也进行了马拉松比赛,两者都在端口8080中,如何更改spark-ui的默认端口?

最佳答案

参见http://spark.apache.org/docs/latest/spark-standalone.html:

You can optionally configure the cluster further by setting environment variables in conf/spark-env.sh. Create this file by starting with the conf/spark-env.sh.template, and copy it to all your worker machines for the settings to take effect. The following settings are available:

...

SPARK_MASTER_WEBUI_PORT - Port for the master web UI (default: 8080).


所以-将conf/spark-env.sh.template复制到conf/spark-env.sh,并对其进行编辑以包括:SPARK_MASTER_WEBUI_PORT=<your preferred port>

关于apache-spark - 如何更改Spark ui端口?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36083783/

相关文章:

python - PySpark:类型错误:+ 不支持的操作数类型: 'datetime.datetime' 和 'str'

amazon-web-services - Maven 使用本地 spark 库

python - 展平 Spark DataFrame 中的嵌套数组

scala - 无法使用 case 类从 Row 的 RDD 创建数据框

apache-spark - 比较内存集群计算系统

scala - Spark DataFrame - 使用 SQL 读取管道分隔文件?

apache-spark - 如何从pyspark word2vec模型中获取单词列表?

serialization - 如何让 Spark 使用 Kryo 序列化对象?

scala - Scala 中的 Spark : How to avoid linear scan for searching a key in each partition?

mongodb - Spark mongo 连接花费的时间比预期的要长