我发现 AWS Glue 将执行程序的实例设置为内存限制为 5 Gb --conf spark.executor.memory=5g有时，在大型数据集上它会失败，java.lang.OutOfMemoryError .驱动程序实例 --spark.driver.memory=5g 也是如此。 .
有没有办法增加这个值？
最佳答案
尽管 aws 文档指出 --conf参数不应传递，我们的 AWS 支持团队告诉我们传递 --conf spark.driver.memory=10g这纠正了我们遇到的问题
关于amazon-web-services - AWS Glue 执行程序内存限制，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49034126/