在 PySpark 驱动程序中创建新的 Python 进程时(例如使用 JobLib 或其他多处理库)，这些进程是否共享 Spark 驱动程序内存，还是在 PySpark 驱动程序 JVM 之外分配内存？
最佳答案
Python 驱动程序内存不计入 spark.driver.memory(对于工作线程而言，与 spark.executor.memory 相同)。 spark.*.memory 设置仅用于堆上 Java 内存分配。
所有其他形式的内存分配(堆外、 native 内存，例如 Python 等)都由 spark.driver.memoryOverhead 和等效设置涵盖。
关于python - Pyspark 驱动程序中 Python 子进程的内存分配，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51457539/