google-cloud-platform - Dataproc 上可抢占工作线程虚拟机的 GPU 支持

标签 google-cloud-platform google-cloud-dataproc

抢占式工作虚拟机是否支持 GPU? This documentation claim :

GPUs cannot be attached to preemptible virtual machines in Dataproc clusters.

但是latter section提及:

Attach GPUs to the master and primary and preemptible worker nodes in a Dataproc cluster when creating the cluster using the ‑‑master-accelerator, ‑‑worker-accelerator, and ‑‑preemptible-accelerator flags.

gcloud dataproc SDK提到了这一点。

实在是太困惑了,请问有人可以解释一下吗?

最佳答案

Dataproc 集群中的抢占式工作线程支持 GPU:

CLUSTER_NAME=<cluster_name>
REGION=<region>
gcloud dataproc clusters create ${CLUSTER_NAME} \
  --region=${REGION} \
  --num-preemptible-workers=2 \
  --preemptible-worker-accelerator=type=nvidia-tesla-p100

目前存在一个错误,该错误会阻止 GPU 连接到可抢占的虚拟机。它已经修复,应该会在下周内推出。

关于google-cloud-platform - Dataproc 上可抢占工作线程虚拟机的 GPU 支持,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60040757/

相关文章:

node.js - Google服务帐户: The API returned an error: TypeError: source. hasOwnProperty在一小时后不再是一个函数

google-cloud-storage - 在谷歌云计算中保存VM实例

google-cloud-bigtable - 使用Google Dataproc导入Bigtable中的CSV数据

apache-pig - 使用 HBaseStorage 通过 Dataproc 上的 Pig 从 Bigtable 加载

google-cloud-platform - 如何重新启动已取消的Cloud Dataflow流作业?

google-cloud-platform - API 网关不返回响应

apache-spark - 在 SparkSession 中连接到远程 Dataproc 主节点

google-cloud-dataproc - 各个 dataproc Spark 日志在哪里?

java - 无法部署 GAE (Google App Engine) 应用程序 (Java SDK)

google-cloud-platform - 无论如何,是否可以根据 GCP(谷歌云平台)中的 dataproc 的计划而不是策略自动扩展