google-cloud-platform - Dataproc 批量约束违规

标签 google-cloud-platform google-compute-engine google-cloud-dataproc

在我的项目中,启用了constraints/compute.requireOsLogin策略约束。 如果我尝试使用此命令运行 dataproc 批处理作业:

gcloud dataproc batches submit --project <project-id> --region us-east1 pyspark --batch batch-123 gs://mybucket/test.py --version 2.1  --subnet test

我收到以下错误:

ERROR: (gcloud.dataproc.batches.submit.pyspark) Batch job is FAILED. Detail: Constraint constraints/compute.requireOsLogin violated for project 123456789.

该子网启用了专用 Google 访问权限。 test.py 文件可以是任何内容,我从 here 中获取了示例。

如何修复该错误?

最佳答案

您可以setup OS在您的组织中登录,这将允许操作系统登录到新创建的虚拟机,但不支持 Dataproc Serverless 中的操作系统登录。请参阅下面不支持的产品列表:

  • Cloud Data Fusion versions 6.1.4 and earlier

  • Cloud Composer Google Kubernetes Engine (GKE) public clusters that run versions earlier than 1.23.5

  • GKE private clusters that run node pool versions earlier than 1.20.5

  • Dataproc Serverless

  • Windows Server and SQL Server VMs

  • Fedora CoreOS VMs. To manage instance access to VMs created using these images, use the Fedora CoreOS ignition system

引用:

https://cloud.google.com/compute/docs/oslogin/manage-oslogin-in-an-org#limitations

关于google-cloud-platform - Dataproc 批量约束违规,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/77129906/

相关文章:

Kubernetes Engine API 删除 pod

python - DialogFlow 检测意图文本

ssl - 在 GCP 中的 kubernetes 上启用 SSL

python - 我们如何使用 apache airflow API 创建 dataproc 集群

pyspark - 如何提交依赖于 google dataproc 集群的 pyspark 作业

java - 使用 Google KMS 和 Entrust 证书签署 PDF 文档

elasticsearch - 将旧数据从Elasticsearch存档到Google Cloud Storage

google-cloud-platform - gcloud compute ssh 停止

vb.net - 谷歌翻译 API 身份验证

apache-spark - dataproc 上的任务数量多于 vCPU 数量