我启动minikube时使用以下命令,而无需任何额外配置。
minikube start --driver=virtualbox
--image-repository='registry.cn-hangzhou.aliyuncs.com/google_containers' --cpus 4 --memory 4096 --alsologtostderr
然后我从Spark官方网站下载spark-2.4.5-bin-hadoop2.7,并通过以下命令构建spark镜像
eval $(minikube docker-env)
./bin/docker-image-tool.sh -m -t 2.4.5 build
然后我在存储Spark 2.4.5的本地计算机中使用follwing命令运行Spark-pi。
kubectl create serviceaccount spark
kubectl create clusterrolebinding spark-role --clusterrole=admin --serviceaccount=default:spark --namespace=default
./bin/spark-submit \
--master k8s://https://192.168.99.104:8443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.executor.instances=1 \
--conf spark.kubernetes.container.image=spark:2.4.5 \
local:///opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar
我收到以下错误
完整日志可以在full log中找到
谁能解释这个错误以及如何解决?
最佳答案
请检查您与Minikube一起启动的Kubernetes版本。
Spark v2.4.5
fabric8 Kubernetes客户端v4.6.1
与Kubernetes API兼容,直到1.15.2
(请参阅answer)。
您可以通过在--kubernetes-version
命令中添加minikube start
标志(请参阅docs)来使用Minikube启动特定的Kubernetes API版本。
另外,此问题可能是由this问题注释中描述的OkHttp库错误引起的。
关于apache-spark - 在Kubernetes上运行Spark示例失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61538791/