当我向Kubernetes提交Spark作业时,容器中的所有内容都以root用户身份运行。是否可以以其他用户身份运行作业?
当我以“客户端”模式提交作业时,驱动程序以提交作业的用户身份运行,而执行者以root用户身份运行,这在访问由执行者创建的文件时可能会导致文件访问问题。
最佳答案
除非K8上的Spark支持K8s Pod的完全自定义(特别是runAsUser功能),否则控制它的唯一方法是(如我目前所见):
-构建在Dockerfile中指定USER的Docker镜像
-使用一些高级的K8s工具/ Controller ,例如Argo Events
-自定义spark-submit
或通过K8s API作为Kubernetes Pods直接提交Spark Pod
希望很快能看到Spark v3.0.0带来的一些改进。
关于apache-spark - 在Kubernetes上运行Spark时,是否可以以其他用户身份以root用户身份运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62199930/