java - 如何增加 Spark Amazon EC2 集群上的 Java 堆空间？

Question

我使用 Java Spark API 编写了一个程序。鉴于我的数据很大，我收到以下错误

java.lang.OutOfMemoryError: Java heap space

知道如何增加 Aws 上 Spark EC2 集群的 Java 堆空间吗？如有必要，我可以提供有关我的代码和集群设置的详细信息。谢谢。

Answer 1

在将应用程序 jar 提交到 spark-submit 时，我能够通过添加两个标志来增加堆空间。

--executor-memory 10g --driver-memory 2g