我正在尝试使用 G1GC 垃圾收集器进行 Spark 作业，但我得到了
Error: Invalid argument to --conf: -XX:+UseG1GC
我尝试使用这些选项，但无法使其正常工作
spark-submit --master spark://192.168.60.20:7077 --conf -XX:+UseG1GC /appdata/bblite-codebase/test.py
和
spark-submit --master spark://192.168.60.20:7077 -XX:+UseG1GC /appdata/bblite-codebase/test.py
调用
G1GC 的正确方法是什么？ Spark 收集器？
最佳答案
JVM 选项应作为 spark.executor.extraJavaOptions 传递/spark.driver.extraJavaOptions ， IE。
--conf "spark.executor.extraJavaOptions=-XX:+UseG1GC"
关于apache-spark - 在 spark 2.3 中使用 G1GC 垃圾收集器，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50856342/