AWS Glue 中的标准 DPU 带有 4 个 vCPU 和 2 个执行器。 我对可以与此配置并行运行的最大并发任务数感到困惑。在具有 4 个 vcpu 和 2 个执行程序的单个 DPU 上是 4 个还是 8 个？
最佳答案
我与 AWS Glue 支持团队就此进行了类似的讨论，我将与您分享他们告诉我的有关 Glue 配置的内容。以标准配置和 G1.X 配置为例。
标准 DPU 配置:
- 为主节点预留 1 个 DPU
- 为 Driver/ApplicationMaster 保留 1 个执行器
- 每个DPU配置2个executor
- 每个执行器配置5.5GB内存
- 每个执行器配置4核
G.1X WorkerType 配置:
- 为 MasterNode 添加了 1 个 DPU
- 1 个 DPU 保留给 Driver/ApplicationMaster
- 每个worker配置1个executor
- 每个执行器配置10GB内存
- 每个执行器配置8核
例如，如果我们有一个带有 21 DPU 的标准配置的作业，则意味着我们有:
- 1 个 DPU 保留给 Master
- 20 个 DPU x 2 = 40 个执行器
- 40 名执行者 - 1 名司机/AM = 39 名执行者
然后我们最终得到总共 156 个核心。也就是说，您的作业有 156 个执行槽。例如，如果您从 S3 读取文件，这意味着您将能够并行接受 156 个输入文件。
希望对您有所帮助。
关于amazon-web-services - AWS Glue 中 1 个 DPU 的最大并发任务数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62613729/