apache-spark - spark k8s 资源登台服务器(RSS)在哪里?

标签 apache-spark kubernetes

我正在尝试运行 spark-on-k8s,当我在互联网上阅读内容时,我偶然发现了“资源暂存服务器”一词。

AFAIK 是向执行者共享 jar 的服务器。但是当我用 spark-submit 发出命令时。

spark-2.3.1-bin-hadoop2.7/bin/spark-submit \
  --master k8s://k8s-url \
  --deploy-mode cluster \
  --name spark-pi \
  --class org.apache.spark.examples.SparkPi \
  --conf spark.executor.instances=2 \
  --conf spark.kubernetes.container.image=$I \
  local:///Users/myid/examples/target/spark-examples_2.11-2.4.0-SNAPSHOT-shaded.jar

该 pods 似乎没有被创建。

那么资源登台服务器(RSS)的来源在哪里?
还是 RSS 仍在积极开发中?

最佳答案

RSS 自 2.3 版以来已被 Spark 删除,但它仍然可以在 2.2 中使用,Spark on K8S。

顺便说一句,RSS pod 应该在 spark-submit 之前手动创建。

关于apache-spark - spark k8s 资源登台服务器(RSS)在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51834944/

相关文章:

kubernetes - 将 kubernetes 服务中的传入端口映射到 docker 容器上的不同端口

docker - 使用 Minikube 的 ImagePullBackOff 本地存储库

apache-spark - google/guava 库出现 Spark 错误 : java. lang.NoSuchMethodError : com. google.common.cache.CacheBuilder.refreshAfterWrite

apache-spark - Pyspark : Cumulative Sum with reset condition

python - Dataframe 加入空安全条件使用

docker - 我的结构化日志消息中的时间字段来自哪里?

kubernetes - 具有多个后端服务的 GKE Ingress 返回 404

kubernetes - 在不影响就绪检查的情况下快速重启 statefulset pod

python - PySpark:TypeError: 'Column' 对象不可调用

apache-spark - pySpark 容错配置