apache-spark - Kubernetes 上的 Spark

Question

我在 kubernetes 中配置了如下 Spark。我按照此链接进行设置 -
https://testdriven.io/blog/deploying-spark-on-kubernetes/

在此配置中是否可以在集群模式下运行作业？还是只能用于本地开发？

Answer 1

是的你可以。并非所有功能都存在，因为它是实验性的，可以在此处查看更多详细信息以获得完整的配置和支持:Running Spark on Kubernetes
cluster mode

To launch Spark Pi in cluster mode:

$ ./bin/spark-submit \
    --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///path/to/examples.jar

添加有关在提交时如何使用和监控作业/应用程序的详细信息，并以以下开头:A Deeper Look At Spark-Submit您可以找到图表以及实际工作方式。也值得使用自定义图像检查此信息，但流程类似 kubernetes-spark-job