google-cloud-dataproc - 我可以将 n2 或 n2d 机器类型与 Cloud Dataproc 一起使用吗?

标签 google-cloud-dataproc

我想使用 Cloud Dataproc与 n2 和其他 machine types那不是n1。当我查看 Dataproc pricingGoogle Cloud Console看起来我只能使用 n1 机器类型。

有什么方法可以使用 n2 和其他机器类型,比如 n2d?这些机器类型可以为我省钱或更适合我的工作负载。

最佳答案

Cloud Dataproc 在使用 gcloud确实支持 n1 机器类型以外的机器类型命令行工具。如果您指定 n2(或其他机器类型),它应该适本地使用该机器类型。例如:

--master-machine-type=n2-standard-4 --worker-machine-type=n2-standard-4

请记住,您要使用的机器类型必须在您指定的区域和地区可用。 Cloud Console 即将支持 n1 以外的机器类型。

免责声明 - 我是 Dataproc 的产品经理,这是截至 2020 年 2 月的一个常见问题。

关于google-cloud-dataproc - 我可以将 n2 或 n2d 机器类型与 Cloud Dataproc 一起使用吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60456992/

相关文章:

apache-spark - Google Dataproc 作业永远不会取消、停止或终止

apache-spark - spark "basePath"选项设置

apache-spark - 我们能否仅在 GKE 或私有(private)本地 k8s 上运行 Dataproc?

kubernetes - 从 Dataproc 集群访问 GKE 集群中的 Postgres

hadoop - 非云环境中的 GCS 连接器

apache-spark - 神秘的 Spark/Hadoop BlockMissingException

google-cloud-dataproc - 提供自定义 UUID 以通过 Airflow DataprocSubmitJobOperator 启 Action 业

python - ImportError:没有名为 numpy 的模块 - 使用 Jupyter Notebook 时的 Google Cloud Dataproc

google-app-engine - 在以编程方式将作业发送到 dataproc 之前创建集群

apache-spark - 具有太多可抢占节点的 Google dataproc spark 集群有时会挂起