我在 5 节点集群上运行 spark 应用程序。每个节点都配置为 16 核和 64 GB ram。
我的申请有 4 个阶段。第 4 阶段的 3 个阶段快速执行，即 mapToPair 是否需要太多时间(将近 4 小时)。
以下是职位 
的职位统计信息
我也检查了执行程序日志，没有看到任何错误/异常。如果需要进行任何配置更改以提高性能，您能否建议我？
最佳答案
https://spark.apache.org/docs/latest/tuning.html
第一次尝试.config("spark.executor.memory","8g")
http://www.oracle.com/technetwork/articles/java/g1gc-1984535.html
关于java - Spark GC 时间非常长导致任务执行缓慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47378165/