我有一些 Spark 作业在 Spark 1.2 中运行良好，但由于 KryoSerializer 缓冲区溢出而无法在 1.3 中运行。我尝试将 spark.kryoserializer.buffer.max 增加到 20GB，将 spark.kryoserializer.buffer 增加到 2GB。但这并没有帮助。我是否使用了 KryoSerializer 错误，或者它还没有准备好迎接黄金时段？
经过试验和错误，Kryoserializer 缓冲区的上限似乎为 2GB。不确定这是设计使然还是什么？
最佳答案
我的观察是正确的:SPARK-6405 :将最大 Kryo 缓冲区大小限制为 2GB。显然 Databrick 的技术布道者不知道这一点，并告诉我增加缓冲区大小。
关于apache-spark - KryoSerializer 缓冲区溢出，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31445065/