我正在尝试运行 spark-on-k8s,当我在互联网上阅读内容时,我偶然发现了“资源暂存服务器”一词。
AFAIK 是向执行者共享 jar 的服务器。但是当我用 spark-submit 发出命令时。
spark-2.3.1-bin-hadoop2.7/bin/spark-submit \
--master k8s://k8s-url \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=2 \
--conf spark.kubernetes.container.image=$I \
local:///Users/myid/examples/target/spark-examples_2.11-2.4.0-SNAPSHOT-shaded.jar
该 pods 似乎没有被创建。
那么资源登台服务器(RSS)的来源在哪里?
还是 RSS 仍在积极开发中?
最佳答案
RSS 自 2.3 版以来已被 Spark 删除,但它仍然可以在 2.2 中使用,Spark on K8S。
顺便说一句,RSS pod 应该在 spark-submit 之前手动创建。
关于apache-spark - spark k8s 资源登台服务器(RSS)在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51834944/