apache-spark - 我们如何使用 Spark 运算符设置内存和 CPU 资源限制？

Question

我是 Spark-operator 的新手，我很困惑如何在 YAML 文件中设置资源请求和限制，例如在我的例子中，我为 driver pod 请求 512m 的内存，但是限制怎么样，它是无界的？

spec:
  driver:
    cores: 1
    coreLimit: 200m
    memory: 512m
    labels:
      version: 2.4.5
    serviceAccount: spark

规范: 司机: 核心数:1 核心限制:200m 内存:512m 标签: 版本:2.4.5 服务帐号:spark

Answer 1

在定义 yaml 文件时设置限制是一个很好的做法。如果您不这样做，您将面临使用节点上所有资源的风险 doc因为没有上限。

---

驱动程序和执行程序 Pod 的内存限制由 Spark 中的 Kubernetes 调度程序后端内部设置，并按 Spark.{driver|executor}.memory + 内存开销的值计算。