ssl - 如何为 HTTPS 配置 Spark Standalone 的 Web UI？

Question

我想设置 Spark Standalone 的 Web UI，以便可以通过 HTTPS 访问它。

Spark 在我用来访问浏览器的计算机外部的集群上运行。

这是我到目前为止所做的，但没有用:

• 使用 OpenSSL 制作自签名证书和 key ，然后使用 keytool 制作 keystore
• 将证书和 key 打包为.p12 文件
• 在 Chrome 的设置中的“管理证书”下，导入所述 p12 文件

• 在 spark-defaults.conf 中，添加选项

  spark.ui.https.enabled                   true
  spark.ui.ssl.server.keystore.location    /path/to/spark.keystore
  spark.ui.ssl.server.keystore.keypassword password
  spark.ui.ssl.server.keystore.password    password
  

• 在spark-env.sh中添加

  export SPARK_MASTER_OPTS="-Dspark.ui.https.enabled=true \
    -Dspark.ui.ssl.server.keystore.location=/path/to/spark.keystore \
    -Dspark.ui.ssl.server.keystore.keypassword=password \
    -Dspark.ui.ssl.server.keystore.password=password"
  
  export SPARK_WORKER_OPTS="-Dspark.ui.https.enabled=true \
    -Dspark.ui.ssl.server.keystore.location=/path/to/spark.keystore \
    -Dspark.ui.ssl.server.keystore.keypassword=password \
    -Dspark.ui.ssl.server.keystore.password=password"
  

我已尝试在每个步骤之前、之后和之间连接到服务器，但我一直收到错误“此站点无法提供安全连接”。我在这里缺少什么？

Answer 1

根据 this line我认为不可能使用 HTTPS 设置 Spark Standalone 的 Web UI。

masterWebUiUrl = "http://" + masterPublicAddress + ":" + webUi.boundPort

我的建议是在 Spark's JIRA 中提交问题并找到 Spark 开发人员来修复它。